Знайте, кто и когда говорил: Создавайте многоречевую ИИ в реальном времени с помощью диааризации NVIDIA Nemotron 3
huggingface ·
NVIDIA выпустила Nemotron 3 Diarization — открытую модель с 100 миллионами параметров, предназначенную для анализа аудио с несколькими говорящими в реальном времени. Модель заняла первое место на первоначальном лидерборде Voice Arena Diarization-Bench, показав среднюю ошибку диаризации (DER) 14,72% на английских разговорах. Она поддерживает до восьми одновременных говорящих и эффективно справляется с перекрывающейся речью благодаря архитектуре Sortformer, использующей кэширование говорящих по порядку появления. Этот подход обеспечивает стабильную маркировку говорящих при потоковой обработке за счет сохранения контекста между фрагментами аудио. По данным бенчмарков, модель демонстрирует среднее относительное снижение DER на 40% по сравнению с предыдущими базовыми моделями NVIDIA при задержке 1,04 секунды. Система предлагает настраиваемые режимы работы: от офлайн-обработки до потоковой передачи с ультранизкой задержкой, вплоть до 0,32 секунды. Разработчики могут интегрировать модель через NVIDIA NeMo Speech для создания транскриптов с атрибуцией говорящих в сочетании с автоматическим распознаванием речи (ASR). Модель доступна по лицензии OpenMDW License Agreement и поддерживает различные аудиоформаты на совместимом оборудовании NVIDIA.
huggingface