Escalando o pré-treinamento em línguas indianas: 2,8 trilhões de tokens e um pipeline aberto de geração de dados
huggingface ·
A NVIDIA e a AI4Bharat lançaram o Nemotron-pretraining-Indic-v1, um vasto corpus contendo aproximadamente 2,8 trilhões de tokens em todas as 22 línguas listadas na Constituição da Índia. Este lançamento é acompanhado por um pipeline aberto de geração de dados acelerado por GPU, construído sobre o NeMo Data Designer, permitindo que desenvolvedores repliquem e adaptem o processo às suas necessidades. O conjunto de dados inclui dados em scripts nativos para todas as 22 línguas e texto romanizado para doze delas, abrangendo conteúdo diversificado como matemática, código e texto geral da web. Para garantir a qualidade, o fluxo de trabalho emprega tradução automatizada, avaliação rigorosa usando rubricas inspiradas no MQM e reparo direcionado de saídas com baixa pontuação. A continuação do pré-treinamento do modelo Nemotron 3.5 Super VL com esses dados sintéticos resultou em ganhos significativos de desempenho em múltiplos benchmarks de conhecimento e raciocínio em línguas indianas. Os autores enfatizam que, embora esses dados sintéticos ampliem os recursos, eles devem ser combinados com texto indiano autenticamente escrito para preservar o contexto cultural e o conhecimento locais. Ao compartilhar tanto o corpus quanto a receita de geração, a equipe visa reduzir as barreiras para a construção de modelos multilíngues mais robustos para os quase 1,2 bilhões de cidadãos indianos.
huggingface