Nvidia propose un modèle gratuit de 100 millions de paramètres capable d'identifier jusqu'à huit locuteurs en temps réel
decoder ·
Nvidia a publié Nemotron 3 Diarization, un modèle d'IA gratuit d'environ 100 millions de paramètres conçu pour identifier les interlocuteurs dans des flux audio en temps réel. Le système peut distinguer jusqu'à huit voix différentes et détecter les chevauchements de parole au sein des conversations. Il est compatible avec les fichiers enregistrés ainsi qu'avec les flux audio en direct, s'appairant souvent à des outils de reconnaissance vocale comme Parakeet pour générer des transcriptions étiquetées. Lors du VoiceArena Diarization Benchmark v1, le modèle a obtenu un taux d'erreur de diarisation (DER) de 14,7 %, le plaçant en tête des classements actuels. Cette performance constitue une amélioration significative par rapport à son prédécesseur, Streaming Sortformer, réduisant les taux d'erreur d'une moyenne de 41 % sur divers scénarios de test. Bien que le modèle gère bien les conditions standards, sa précision peut diminuer en présence d'un bruit de fond important, de réverbération ou lorsque plus de huit participants sont présents. Les utilisateurs peuvent ajuster les paramètres de tampon audio entre 0,32 et 30,4 secondes, bien que des tampons plus courts entraînent généralement une précision moindre.
decoder