Escalar el preentrenamiento en idiomas indios: 2,8 billones de tokens y una canalización abierta de generación de datos
huggingface ·
NVIDIA y AI4Bharat han lanzado Nemotron-pretraining-Indic-v1, un corpus masivo que contiene aproximadamente 2,8 billones de tokens en los 22 idiomas enumerados en la Constitución de la India. Este lanzamiento viene acompañado de una canalización de generación de datos de código abierto acelerada por GPU, construida sobre NeMo Data Designer, lo que permite a los desarrolladores replicar y adaptar el proceso para sus propias necesidades. El conjunto de datos incluye datos en escritura nativa para los 22 idiomas y texto romanizado para doce de ellos, abarcando contenido diverso como matemáticas, código y texto web general. Para garantizar la calidad, el flujo de trabajo emplea traducción automatizada, evaluación rigurosa utilizando rúbricas inspiradas en MQM y reparación dirigida de las salidas con puntuaciones bajas. El preentrenamiento continuo del modelo Nemotron 3.5 Super VL con estos datos sintéticos resultó en mejoras significativas del rendimiento en múltiples pruebas de conocimiento y razonamiento en idiomas indios. Los autores enfatizan que, aunque estos datos sintéticos amplían los recursos, deben combinarse con texto indio escrito naturalmente para preservar el contexto cultural y el conocimiento local. Al compartir tanto el corpus como la receta de generación, el equipo tiene como objetivo reducir las barreras para construir modelos multilingües más sólidos para casi 1.200 millones de ciudadanos indios.
huggingface