Bem-vindo ao Muse Spark Open: modelo misto de especialistas multimodais de código aberto da Meta
huggingface ·
A Meta lançou o Muse Spark Open, um modelo multimodal de ponta com pesos abertos, que utiliza uma arquitetura mista de especialistas (mixture-of-experts) com aproximadamente 816 bilhões de parâmetros totais e 42 bilhões de parâmetros ativos por token. Projetado principalmente para tarefas de codificação agêntica, o modelo suporta entradas de texto, imagem, áudio e vídeo em uma janela de contexto de até um milhão de tokens. Ele emprega um codificador de percepção especializado para dados visuais e um codificador de áudio convolucional para processar diversos tipos de mídia juntamente com texto. O lançamento inclui formatos de checkpoint BF16 e NVFP4, permitindo a implementação em várias configurações de hardware, incluindo GPUs NVIDIA Blackwell e Apple Silicon por meio de quantização. A inferência é suportada por vários frameworks, como Transformers, llama.cpp, SGLang, vLLM e MLX, oferecendo flexibilidade para diferentes casos de uso. Além disso, o artigo detalha capacidades de ajuste fino usando a biblioteca TRL e demonstra aplicações práticas, como geração de ativos 3D e agentes de automação de navegadores. Este lançamento marca um passo significativo na IA de pesos abertos, fornecendo aos desenvolvedores uma ferramenta poderosa para raciocínio e execução complexos e multimodais.
huggingface