Примечания к выпуску Apertus 1.5
huggingface ·
Команда Apertus выпустила версию 1.5 своих языковых моделей с открытым весом, включающую варианты на 8B и 70B параметров под лицензией Apache 2.0. Это обновление добавляет нативные мультимодальные возможности, позволяя моделям обрабатывать изображения и аудио вместе с текстом через унифицированную архитектуру токенизатора. Контекстное окно увеличено в четыре раза до 262 144 токенов, а также добавлен опциональный режим размышления для улучшения способности к рассуждению при решении сложных задач. Обучение включало продолжение предварительного обучения на триллионах дополнительных токенов на этапах непарных, парных данных и длинного контекста, за которым следовали строгие фазы постобучения, включая контролируемое тонкое настройку и обучение с подкреплением. Результаты оценки показывают значительное улучшение выполнения инструкций, использования инструментов и многоязычного перевода; модель на 8B параметров превосходит конкурентов аналогичного размера в конкретных бенчмарках. Проект подчеркивает полную прозрачность, публикуя все обучающие данные, рецепты и промежуточные контрольные точки на Hugging Face. Кроме того, Apertus сотрудничает с Коалицией EvalEval для предоставления воспроизводимых оценочных карточек, соответствующих новым стандартам управления ИИ, таким как Закон ЕС об ИИ. В будущем команда анонсировала дорожную карту для Apertus 2.0, которая будет сосредоточена на разреженных архитектурах и возможностях на основе агентов.
huggingface