Nvidia выпустила бесплатную модель на 100 млн параметров для распознавания до восьми говорящих в реальном времени
decoder ·
Nvidia выпустила бесплатную AI-модель Nemotron 3 Diarization с примерно 100 миллионами параметров, предназначенную для идентификации говорящих в реальном времени. Система способна различать до восьми разных голосов и обнаруживать случаи перекрывающейся речи в ходе бесед. Модель совместима как с записанными файлами, так и с потоковым аудио в реальном времени и часто используется вместе с инструментами распознавания речи, такими как Parakeet, для создания размеченных транскрипций. В бенчмарке VoiceArena Diarization Benchmark v1 модель показала ошибку диаризации (DER) на уровне 14,7%, заняв первое место среди текущих рейтингов. Это значительное улучшение по сравнению с предыдущей версией Streaming Sortformer: средняя ошибка снизилась на 41 процент в различных тестовых сценариях. Хотя модель хорошо справляется со стандартными условиями, точность может снижаться при наличии сильного фонового шума, реверберации или когда участников больше восьми. Пользователи могут настраивать размер аудиобуфера в диапазоне от 0,32 до 30,4 секунд, однако более короткие буферы обычно приводят к снижению точности.
decoder