Масштабирование предварительного обучения на индийских языках: 2,8 триллиона токенов и открытая конвейерная генерация данных
huggingface ·
Компании NVIDIA и AI4Bharat выпустили Nemotron-pretraining-Indic-v1 — массивный корпус, содержащий около 2,8 триллионов токенов на всех 22 языках, перечисленных в Конституции Индии. Этот релиз сопровождается открытым конвейером генерации данных с ускорением на GPU, построенным на базе NeMo Data Designer, что позволяет разработчикам воспроизводить и адаптировать процесс под свои нужды. Набор данных включает тексты на родных скриптах для всех 22 языков и транслитерированные (romanized) тексты для двенадцати из них, охватывая разнообразные материалы: математику, код и общий веб-контент. Для обеспечения качества рабочий процесс использует автоматический перевод, строгую оценку по рубрикам, вдохновленным методологией MQM, и целенаправленное исправление низкооцененных результатов. Продолженное обучение модели Nemotron 3.5 Super VL с использованием этих синтетических данных привело к значительному улучшению показателей во множестве бенчмарков по знаниям и рассуждениям на индийских языках. Авторы подчеркивают, что, хотя эти синтетические данные расширяют ресурсы, их следует комбинировать с естественно написанными текстами на индийских языках, чтобы сохранить местный культурный контекст и знания. Делясь как самим корпусом, так и рецептом его создания, команда стремится снизить барьеры для создания более мощных многоязычных моделей почти для 1,2 миллиарда граждан Индии.
huggingface