Olmo-core 3 का परिचय: बड़े MoE के लिए खुला और स्केलेबल ट्रेनिंग इंफ्रास्ट्रक्चर
huggingface ·
AllenAI ने Olmo-core 3 जारी किया है, जो एक ओपन-सोर्स ट्रेनिंग इंफ्रास्ट्रक्चर है जिसे ट्रिलियन-पैरामीटर रेंज में मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) मॉडल्स को स्केल करने और कंप्यूटेशनल दक्षता बनाए रखने के लिए डिज़ाइन किया गया है। यह फ्रेमवर्क फुली शार्डेड डेटा पैरेलेलिज्म से वितरित डेटा पैरेलेलिज्म की ओर स्थानांतरित होता है, जिसमें एक्सपर्ट्स को GPU पर रहने दिया जाता है ताकि बार-बार वेट्स को इकट्ठा करने से बचा जा सके और थ्रूपुट में काफी सुधार हो। प्रमुख अनुकूलनों में एक्सपर्ट, पाइपलाइन और ऑप्टिमाइजर पैरेलेलिज्म शामिल हैं, साथ ही रो-वाइज एक्सपर्ट पैरेलेलिज्म और ग्रूप्ड GEMM जैसे तकनीकों का उपयोग करके राउटिंग लागत कम की गई है। सिस्टम MXFP8 लोअर-प्रिसिजन फॉर्मेट्स का भी समर्थन करता है, जिसने BF16 की तुलना में बेंचमार्क्स में लगभग 21% अधिक ट्रेनिंग थ्रूपुट प्राप्त किया। AllenAI ने 1.2 ट्रिलियन पैरामीटर वाले मॉडल के साथ उच्च FLOP/s/GPU मेट्रिक्स हासिल करते हुए इस स्टैक की क्षमता दिखाई और 2.38 ट्रिलियन पैरामीटर तक कॉन्फ़िगरेशन के साथ प्रयोग किए। रिलीज़ में एक तकनीकी रिपोर्ट शामिल है जिसमें संतुलित राउटिंग स्कोर और कम्यूनिकेशन ओवरलैप्स जैसी समस्याओं सहित प्रायोगिक निष्कर्ष बताए गए हैं। यह ओपन इंफ्रास्ट्रक्चर अगली पीढ़ी के Olmo मॉडल्स के लिए आधार तैयार करता है, जिसका उद्देश्य एकेडमिक शोधकर्ताओं और छोटे प्रयोगशालाओं को उन्नत MoE विकास के लिए सुलभ उपकरण प्रदान करना है।
huggingface