मेटा से वेल्कम म्यूज़ स्पार्क ओपन: ओपन-वेइट फ्रंटियर मल्टीमोडल मिक्सचर-ऑफ़-एक्सपर्ट्स मॉडल
huggingface ·
मेटा ने म्यूज़ स्पार्क ओपन (Muse Spark Open) जारी किया है, जो एक ओपन-वेट फ्रंटियर मल्टीमोडल मॉडल है जिसमें मिक्सचर-ऑफ-एक्सपर्ट्स आर्किटेक्चर का उपयोग किया गया है। इस मॉडल में कुल लगभग 816 अरब पैरामीटर और प्रति टोकन 42 अरब सक्रिय पैरामीटर हैं। मुख्य रूप से एजेंटिक कोडिंग कार्यों के लिए डिजाइन किया गया यह मॉडल टेक्स्ट, इमेज, ऑडियो और वीडियो इनपुट को समर्थन देता है और इसकी कॉन्टेक्स्ट विंडो एक मिलियन टोकन तक की हो सकती है। यह दृश्य डेटा के लिए एक विशेष परसेप्शन एन्कोडर और विविध मीडिया प्रकारों तथा टेक्स्ट को प्रोसेस करने के लिए एक कन्वोल्यूशनल ऑडियो एन्कोडर का उपयोग करता है। रिलीज में BF16 और NVFP4 चेकपॉइंट फॉर्मेट शामिल हैं, जो NVIDIA ब्लैकवेल GPUs और Apple Silicon सहित विभिन्न हार्डवेयर कॉन्फ़िगरेशन पर डिप्लॉयमेंट को सक्षम बनाते हैं। Transformers, llama.cpp, SGLang, vLLM और MLX जैसे कई फ्रेमवर्क्स के माध्यम से इनफरेंस का समर्थन किया जाता है, जो विभिन्न उपयोग मामलों के लिए लचीलापन प्रदान करता है। इसके अलावा, लेख TRL लाइब्रेरी का उपयोग करके फाइन-ट्यूनिंग क्षमताओं और 3D एसेट जनरेशन व ब्राउजर ऑटोमेशन एजेंट्स जैसे व्यावहारिक अनुप्रयोगों को दर्शाता है। यह रिलीज ओपन-वेट AI में एक महत्वपूर्ण कदम है, जो डेवलपर्स को जटिल, मल्टी-मोडल तर्क और निष्पादन के लिए एक शक्तिशाली उपकरण प्रदान करती है।
huggingface