Добро пожаловать в Muse Spark Open: открытая мультимодальная модель смешанных экспертов от Meta
huggingface ·
Meta выпустила модель Muse Spark Open — открытую мультимодальную модель уровня frontier с архитектурой mixture-of-experts, содержащую около 816 миллиардов общих параметров и 42 миллиарда активных параметров на токен. Модель предназначена преимущественно для задач агентного программирования и поддерживает ввод текста, изображений, аудио и видео в контекстном окне до одного миллиона токенов. Для обработки визуальных данных используется специализированный энкодер восприятия, а для аудио — свёрточный энкодер, что позволяет обрабатывать различные типы медиа вместе с текстом. В релиз включены форматы контрольных точек BF16 и NVFP4, обеспечивающие развертывание на различных аппаратных конфигурациях, включая графические процессоры NVIDIA Blackwell и чипы Apple Silicon с использованием квантования. Инференс поддерживается через несколько фреймворков, таких как Transformers, llama.cpp, SGLang, vLLM и MLX, что обеспечивает гибкость для различных сценариев использования. Кроме того, в статье подробно описываются возможности тонкой настройки с помощью библиотеки TRL и демонстрируются практические применения, такие как генерация 3D-активов и создание агентов для автоматизации работы в браузере. Этот релиз знаменует собой значительный шаг в развитии открытых весовых моделей ИИ, предоставляя разработчикам мощный инструмент для сложного мультимодального рассуждения и выполнения задач.
huggingface