Skalierung des indischen Pretrainings: 2,8 Billionen Token und eine offene Datengenerierungs-Pipeline
huggingface ·
NVIDIA und AI4Bharat haben Nemotron-pretraining-Indic-v1 veröffentlicht, einen massiven Datensatz mit etwa 2,8 Billionen Token in allen 22 Sprachen, die in der indischen Verfassung aufgeführt sind. Diese Veröffentlichung wird von einer offenen, GPU-beschleunigten Daten-Generierungspipeline begleitet, die auf NeMo Data Designer basiert und es Entwicklern ermöglicht, den Prozess für ihre eigenen Bedürfnisse zu replizieren und anzupassen. Der Datensatz enthält native Schriftdaten für alle 22 Sprachen sowie romanisierten Text für zwölf davon und deckt vielfältige Inhalte wie Mathematik, Code und allgemeinen Webtext ab. Um die Qualität sicherzustellen, setzt der Workflow automatische Übersetzung, strenge Bewertungen anhand MQM-inspirierter Rubriken und gezielte Reparaturen von Ausgaben mit niedrigen Punktzahlen ein. Das fortgesetzte Pretraining des Nemotron 3.5 Super VL-Modells mit diesen synthetischen Daten führte zu erheblichen Leistungssteigerungen bei mehreren Indischen Wissens- und Reasoning-Benchmarks. Die Autoren betonen, dass diese synthetischen Daten zwar die Ressourcen erweitern, aber mit natürlich verfasstem indischem Text kombiniert werden sollten, um den lokalen kulturellen Kontext und das Wissen zu bewahren. Durch die Freigabe sowohl des Korpus als auch der Generierungsanleitung zielt das Team darauf ab, die Hürden für den Aufbau stärkerer mehrsprachiger Modelle für fast 1,2 Milliarden indische Bürger zu senken.
huggingface