扩展印度语预训练:2.8万亿令牌及开放数据生成管道
huggingface ·
英伟达(NVIDIA)与AI4Bharat发布了Nemotron-pretraining-Indic-v1,这是一个包含约2.8万亿个token的庞大语料库,涵盖印度宪法列出的全部22种语言。此次发布还配套推出了一个基于NeMo Data Designer构建的开源、GPU加速的数据生成流水线,使开发人员能够根据自身需求复制和调整该流程。该数据集包括所有22种语言的本地脚本数据以及其中12种语言的罗马化文本,内容涵盖数学、代码和通用网络文本等多样领域。为确保质量,工作流程采用了自动翻译、基于MQM启发式标准的严格评估,以及对低分输出的针对性修复。使用这些合成数据对Nemotron 3.5 Super VL模型进行继续预训练后,在多个印度知识推理基准测试中取得了显著的性能提升。作者强调,尽管合成数据扩展了资源,但仍应与自然撰写的印度语言文本结合使用,以保留当地文化背景和本土知识。通过同时共享语料库和生成方法,研究团队旨在降低构建服务于近12亿印度公民的更强大多语言模型的门槛。
huggingface