Открытая модель Nvidia Nemotron 3.5 Transcribe объединяет транскрипцию, перевод и распознавание говорящих
decoder ·
Nvidia выпустила Nemotron 3.5 Transcribe — открытую модель распознавания речи, объединяющую транскрипцию, перевод и распознавание говорящих в единую систему. Модель поддерживает транскрипцию на 40 языках и обрабатывает аудиофайлы длительностью до одного часа с участием нескольких дикторов. Несмотря на наличие 30 миллиардов параметров, на каждом шаге активно только 4 миллиарда, что позволяет эффективно запускать модель на одном GPU. Она демонстрирует высокие результаты в ряде бенчмарков, включая англоязычную доску лидеров Hugging Face по автоматическому распознаванию речи (ASR) и тесты VoiceArena по атрибуции говорящих. Вместе с моделью Nvidia представила Granary v2 — датасет, включающий 844 тысячи часов аудио на 48 языках. Компания также предоставила инструменты для дообучения модели в специализированных областях, показав значительное повышение точности в медицинских контекстах. Хотя базовая модель обеспечивает надежную производительность, пользователям рекомендуется проверять выходные данные на предмет ошибок, а также следует учитывать, что обработка в реальном времени не поддерживается.
decoder