Модель Meta Muse Spark Open теперь доступна в Amazon SageMaker JumpStart
aws ·
Модель Meta Muse Spark Open, оптимизированная для программирования и имеющая открытые веса, теперь доступна в Amazon SageMaker JumpStart. Модель обучена на реальных рабочих процессах разработчиков и использует архитектуру mixture-of-experts с общим количеством параметров 816 миллиардов; она поддерживает контекстное окно объемом один миллион токенов. В SageMaker представлены два варианта модели: BF16 и NVFP4 (квантованный), которые существенно различаются по требованиям к памяти и выбору инстансов. Вариант NVFP4 работает на инстансах ml.p5e.48xlarge, тогда как вариант BF16 требует инстансов ml.p6-b300.48xlarge из-за более высоких потребностей в памяти. Пользователи могут развернуть модель через SageMaker Studio или SageMaker Python SDK, создавая конечные точки в своих аккаунтах AWS для полного контроля над безопасностью и инфраструктурой. Как модель рассуждений, она предоставляет как окончательные ответы, так и подробное содержание рассуждений, что делает её подходящей для сложных задач агентного программирования. Процесс развертывания включает принятие лицензионного соглашения Meta и настройку конкретных вычислительных ресурсов в зависимости от выбранного варианта.
aws