Willkommen bei Muse Spark Open: Das offene Multimodale Mixture-of-Experts-Modell von Meta
huggingface ·
Meta hat Muse Spark Open veröffentlicht, ein offenes Multimodell mit Frontiers-Status, das eine Mixture-of-Experts-Architektur mit etwa 816 Milliarden Gesamtparametern und 42 Milliarden aktiven Parametern pro Token aufweist. Das Modell ist primär für agentic Coding-Aufgaben konzipiert und unterstützt Text-, Bild-, Audio- und Videoeingaben in einem Kontextfenster von bis zu einer Million Tokens. Es nutzt einen spezialisierten Wahrnehmungsencoder für visuelle Daten sowie einen convolutionalen Audioencoder, um verschiedene Medientypen zusammen mit Text zu verarbeiten. Die Veröffentlichung umfasst BF16- und NVFP4-Checkpoint-Formate, die den Einsatz auf verschiedenen Hardwarekonfigurationen ermöglichen, darunter NVIDIA Blackwell-GPUs und Apple Silicon über Quantisierung. Die Inferenz wird durch mehrere Frameworks wie Transformers, llama.cpp, SGLang, vLLM und MLX unterstützt, was Flexibilität für unterschiedliche Anwendungsfälle bietet. Darüber hinaus werden im Artikel Feinabstimmungsmöglichkeiten mit der TRL-Bibliothek detailliert beschrieben und praktische Anwendungen wie die Generierung von 3D-Assets und Browser-Automatisierungsagenten demonstriert. Diese Veröffentlichung markiert einen bedeutenden Schritt in Richtung open-weight KI, indem sie Entwicklern ein leistungsstarkes Werkzeug für komplexes multimodales Reasoning und Ausführung bereitstellt.
huggingface