Mise à l'échelle du pré-entraînement indien : 2,8 billions de jetons et un pipeline de génération de données ouvert
huggingface ·
NVIDIA et AI4Bharat ont publié Nemotron-pretraining-Indic-v1, un vaste corpus d'environ 2,8 billions de tokens couvrant les 22 langues répertoriées dans la Constitution indienne. Cette publication s'accompagne d'un pipeline de génération de données open source, accéléré par GPU et basé sur NeMo Data Designer, permettant aux développeurs de reproduire et d'adapter le processus selon leurs besoins. Le jeu de données inclut des textes natifs pour les 22 langues ainsi que des versions romanisées pour douze d'entre elles, englobant des contenus variés tels que les mathématiques, le code informatique et le texte web général. Pour garantir la qualité, le flux de travail utilise une traduction automatisée, une évaluation rigoureuse basée sur des rubriques inspirées de MQM (Multidimensional Quality Metrics) et une réparation ciblée des sorties à faible score. La pré-entraînement continu du modèle Nemotron 3.5 Super VL avec ces données synthétiques a entraîné des gains de performances significatifs sur plusieurs benchmarks de connaissances et de raisonnement en langues indiennes. Les auteurs soulignent que si ces données synthétiques enrichissent les ressources, elles doivent être combinées avec du texte indien rédigé naturellement afin de préserver le contexte culturel et les savoirs locaux. En partageant à la fois le corpus et la méthode de génération, l'équipe vise à réduire les obstacles à la création de modèles multilingues plus performants pour près de 1,2 milliard de citoyens indiens.
huggingface