Sepa quién habló cuándo: Construya IA multisorso en tiempo real con la Diarización de NVIDIA Nemotron 3
huggingface ·
NVIDIA ha lanzado Nemotron 3 Diarization, un modelo de pesos abiertos con 100 millones de parámetros diseñado para el análisis de audio en tiempo real con múltiples hablantes. El modelo ocupa el primer lugar en la lista inicial de Diarization-Bench de Voice Arena, logrando una Tasa de Error de Diarización (DER) del 14,72 % en conversaciones en inglés. Admite hasta ocho hablantes simultáneos y maneja eficazmente el habla superpuesta mediante una arquitectura basada en Sortformer que utiliza almacenamiento en caché de hablantes por orden de llegada. Este enfoque garantiza una etiquetación estable de los hablantes durante la inferencia en streaming al mantener el contexto entre fragmentos de audio. Los indicadores muestran una reducción relativa promedio del 40 % en la DER en comparación con las líneas base anteriores de NVIDIA, con una latencia de 1,04 segundos. El sistema ofrece puntos de operación configurables que van desde el procesamiento fuera de línea hasta el streaming de ultra baja latencia, tan corto como 0,32 segundos. Los desarrolladores pueden integrar el modelo a través de NVIDIA NeMo Speech para crear transcripciones atribuidas a cada hablante cuando se combina con Reconocimiento Automático del Habla. El modelo está disponible bajo el Acuerdo de Licencia OpenMDW y admite varios formatos de audio en hardware compatible de NVIDIA.
huggingface