Bienvenue sur Muse Spark Open : le modèle multimodal à experts multiples de Meta
huggingface ·
Meta a publié Muse Spark Open, un modèle multimodal de pointe à poids ouverts, doté d'une architecture en mélange d'experts (mixture-of-experts) avec environ 816 milliards de paramètres au total et 42 milliards de paramètres actifs par jeton. Conçu principalement pour les tâches de codage agentique, le modèle prend en charge les entrées textuelles, image, audio et vidéo dans une fenêtre de contexte allant jusqu'à un million de jetons. Il utilise un encodeur de perception spécialisé pour les données visuelles et un encodeur audio convolutif pour traiter divers types de médias aux côtés du texte. La publication inclut des formats de points de contrôle BF16 et NVFP4, permettant le déploiement sur diverses configurations matérielles, notamment les GPU NVIDIA Blackwell et la puce Apple Silicon via la quantification. L'inférence est prise en charge par plusieurs frameworks tels que Transformers, llama.cpp, SGLang, vLLM et MLX, offrant ainsi une grande flexibilité pour différents cas d'utilisation. De plus, l'article détaille les capacités de réglage fin à l'aide de la bibliothèque TRL et démontre des applications pratiques telles que la génération d'actifs 3D et les agents d'automatisation de navigateur. Cette sortie marque une étape significative dans l'IA à poids ouverts en fournissant aux développeurs un outil puissant pour le raisonnement et l'exécution multi-modaux complexes.
huggingface