अपर्तस 1.5 रिलीज नोट्स
huggingface ·
Apertus टीम ने अपने ओपन-वेट लैंग्वेज मॉडल्स का संस्करण 1.5 जारी किया है, जिसमें एप्चर 2.0 लाइसेंस के तहत 8B और 70B पैरामीटर वाले दोनों वेरिएंट शामिल हैं। इस अपडेट में नेटिव मल्टीमोडल क्षमताएं पेश की गई हैं, जो एक समान टोकनाइज़र आर्किटेक्चर के माध्यम से टेक्स्ट के साथ-साथ छवियों और ऑडियो को प्रोसेस करने की अनुमति देती हैं। कॉन्टेक्स्ट विंडो को चार गुना बढ़ाकर 262,144 टोकन कर दिया गया है, और जटिल कार्यों पर तार्किक प्रदर्शन को बेहतर बनाने के लिए एक वैकल्पिक थिंकिंग मोड जोड़ा गया है। ट्रेनिंग में अनपेयर्ड, पेयर्ड और लॉन्ग-कॉन्टेक्स्ट स्टेज के दौरान ट्रिलियनों अतिरिक्त टोकन के साथ प्री-ट्रेनिंग को जारी रखना शामिल था, जिसके बाद सुपरवाइज्ड फाइन-ट्यूनिंग और रिनफोर्समेंट लर्निंग सहित कड़ी पोस्ट-ट्रेनिंग फेज आए। मूल्यांकन परिणामों में इंस्ट्रक्शन फॉलोइंग, टूल यूज़ और बहुभाषी अनुवाद में महत्वपूर्ण सुधार दिखाई देते हैं, और विशिष्ट बेंचमार्क्स पर 8B मॉडल समान आकार के प्रतिस्पर्धियों से बेहतर प्रदर्शन करता है। परियोजना Hugging Face पर सभी ट्रेनिंग डेटा, रेसिपी और इंटरमीडिएट चेकपॉइंट्स प्रकाशित करके पूर्ण पारदर्शिता पर जोर देती है। इसके अलावा, Apertus EvalEval Coalition के साथ मिलकर ऐसे पुनरुत्पादक मूल्यांकन कार्ड प्रदान करता है जो EU AI Act जैसे उभरते हुए AI शासन मानकों के अनुरूप हैं। आगे चलकर, टीम ने Apertus 2.0 के लिए एक रोडमैप की घोषणा की है, जिस पर स्पार्स आर्किटेक्चर और एजेंट-आधारित क्षमताओं पर ध्यान केंद्रित किया जाएगा।
huggingface