Добро пожаловать в Beam: открытая модель на 501B параметров, которую вы можете владеть, настраивать и масштабировать
huggingface ·
Компания Reflection выпустила Beam — новую открытую языковую модель с 501 миллиардом параметров, доступную по лицензии Apache 2.0 на платформе Hugging Face. Модель предназначена в первую очередь для задач программирования и агентов (agentic tasks) и использует архитектуру Mixture-of-Experts (MoE) с 23 миллиардами активных параметров на токен, поддерживая контекстное окно объемом до одного миллиона токенов. Beam оснащен специализированными механизмами внимания и обработкой остаточных потоков (residual stream) для сохранения эффективности при работе с длинными контекстами, а также имеет встроенную поддержку вызова инструментов и структурированного рассуждения. Пользователи могут развернуть Beam с помощью библиотек, совместимых с первой версией (day-zero), таких как Transformers, vLLM и SGLang; контрольные точки оптимизированы для различных аппаратных обеспечений, включая графические процессоры NVIDIA Blackwell, Hopper и Ampere. В статье подробно представлены результаты бенчмарков в тестах на программирование, рассуждение и общие способности, демонстрирующие высокую эффективность в агентных рабочих процессах. Кроме того, приведены исчерпывающие руководства по методам постобучения, таким как контролируемое тонкая настройка с использованием TRL и обучение с подкреплением через Miles. Для стимулирования внедрения модели сообществом компания Reflection предлагает 10 000 долларов США в виде кредитов на Hub для инновационных проектов, созданных на базе Beam. Несколько демонстраций иллюстрируют практические применения, включая создание нативных приложений для macOS и масштабирование задач многоагентного программирования.
huggingface