इंडिक प्रीट्रेनिंग को स्केल करना: 2.8 ट्रिलियन टोकन और एक ओपन डेटा जनरेशन पाइपलाइन
huggingface ·
NVIDIA और AI4Bharat ने Nemotron-pretraining-Indic-v1 जारी किया है, जो भारत के संविधान में सूचीबद्ध सभी 22 भाषाओं पर लगभग 2.8 ट्रिलियन टोकन वाले एक विशाल कॉर्पस को शामिल करता है। इस रिलीज के साथ NeMo Data Designer पर बना एक खुला, GPU-त्वरित डेटा जनरेशन पाइपलाइन भी उपलब्ध कराया गया है, जिससे डेवलपर अपने आवश्यकताओं के अनुसार प्रक्रिया को दोहरा और अनुकूलित कर सकते हैं। इस डेटासेट में सभी 22 भाषाओं के लिए स्वदेशी लिपि डेटा और बारह भाषाओं के लिए रोमनाइज़्ड टेक्स्ट शामिल है, जिसमें गणित, कोड और सामान्य वेब टेक्स्ट जैसी विविध सामग्री कवर की गई है। गुणवत्ता सुनिश्चित करने के लिए, कार्यप्रवाह में स्वचालित अनुवाद, MQM-प्रेरित रूब्रिक्स का उपयोग करके सख्त मूल्यांकन और कम अंक प्राप्त आउटपुट की लक्षित मरम्मत शामिल है। इस सिंथेटिक डेटा के साथ Nemotron 3.5 Super VL मॉडल के निरंतर प्रीट्रेनिंग से कई इंडिक ज्ञान और तर्कशास्त्र मानकों पर महत्वपूर्ण प्रदर्शन लाभ हुआ है। लेखकों ने जोर दिया है कि हालांकि यह सिंथेटिक डेटा संसाधनों का विस्तार करता है, स्थानीय सांस्कृतिक संदर्भ और ज्ञान को बनाए रखने के लिए इसे प्राकृतिक रूप से लिखित इंडिक टेक्स्ट के साथ संयोजित किया जाना चाहिए। कॉर्पस और जनरेशन रेसिपी दोनों को साझा करके, टीम लगभग 1.2 बिलियन भारतीय नागरिकों के लिए मजबूत बहुभाषी मॉडल बनाने की बाधाओं को कम करना चाहती है।
huggingface