Scalare il preaddestramento indic: 2,8 trilioni di token e una pipeline aperta per la generazione dei dati
huggingface ·
NVIDIA e AI4Bharat hanno rilasciato Nemotron-pretraining-Indic-v1, un enorme corpus contenente circa 2,8 trilioni di token in tutte le 22 lingue elencate nella Costituzione indiana. Questo rilascio è accompagnato da una pipeline open source per la generazione dei dati, accelerata da GPU e basata su NeMo Data Designer, che consente agli sviluppatori di replicare e adattare il processo alle proprie esigenze. Il dataset include dati in script nativo per tutte le 22 lingue e testo romanizzato per dodici di esse, coprendo contenuti diversificati come matematica, codice e testo web generale. Per garantire la qualità, il flusso di lavoro impiega traduzione automatizzata, valutazione rigorosa utilizzando rubriche ispirate a MQM e riparazione mirata delle uscite con punteggio più basso. Il preaddestramento continuo del modello Nemotron 3.5 Super VL con questi dati sintetici ha determinato significativi miglioramenti delle prestazioni in molteplici benchmark di conoscenza e ragionamento indic. Gli autori sottolineano che, sebbene questi dati sintetici amplino le risorse, dovrebbero essere combinati con testi indiani autenticamente redatti per preservare il contesto culturale e la conoscenza locale. Condividendo sia il corpus che la ricetta di generazione, il team mira ad abbassare le barriere per la costruzione di modelli multilingue più robusti per i quasi 1,2 miliardi di cittadini indiani.
huggingface