NVIDIA Nemotron 3.5 Transcribe и Granary v2: Интеллектуальная многоязычная транскрипция с возможностью настройки
huggingface ·
NVIDIA выпустила Nemotron 3.5 Transcribe — модель с открытыми весами, объединяющую многоязычную транскрипцию, атрибуцию говорящих, перевод и ответы на вопросы по аудио в едином чекпоинте. Модель поддерживает транскрипцию на 40 языках и занимает высокие позиции в нескольких крупных рейтингах, включая Hugging Face Open ASR Leaderboard и бенчмарк диаризации от David AI. Ключевой особенностью является возможность управления выводом с помощью промптов: разработчики могут задавать форматы вывода и специфическую терминологию с помощью инструкций на естественном языке без немедленной дообучения. Для поддержки адаптации NVIDIA также представила Granary v2 — открытый конвейер курирования данных, содержащий более 463 000 часов многоязычных аудиоданных. Кейсы показывают, что дообучение с использованием этого конвейера может значительно снизить уровень ошибок распознавания речи (WER) в специализированных областях, таких как здравоохранение. Система эффективно работает на одних GPU NVIDIA, от периферийных устройств до серверов дата-центров, благодаря гибридной архитектуре Mamba-Transformer. Разработчики могут получить доступ к модели через платформы Hugging Face и ModelScope или через хостинговые конечные точки, при этом предоставляются инструменты для локального развертывания и пользовательского обучения.
huggingface