扩展印度语预训练:2.8万亿令牌及开放数据生成管道 | AI Archive

英伟达(NVIDIA)与AI4Bharat发布了Nemotron-pretraining-Indic-v1,这是一个包含约2.8万亿个token的庞大语料库,涵盖印度宪法列出的全部22种语言。此次发布还配套推出了一个基于NeMo Data Designer构建的开源、GPU加速的数据生成流水线,使开发人员能够根据自身需求复制和调整该流程。该数据集包括所有22种语言的本地脚本数据以及其中12种语言的罗马化文本,内容涵盖数学、代码和通用网络

AI Archive

Terminal content

Latest news

News articles

Repository of the day

anthropics/claude-plugins-official · ⭐ 41,685

Official, Anthropic-managed directory of high quality Claude Code Plugins.

Source: GitHub Trending