Sachez qui a parlé quand : Créez une IA multilocuteur en temps réel avec la Diarisation NVIDIA Nemotron 3
huggingface ·
NVIDIA a publié Nemotron 3 Diarization, un modèle à poids ouverts de 100 millions de paramètres conçu pour l'analyse audio en temps réel avec plusieurs locuteurs. Le modèle se classe premier sur le leaderboard initial Diarization-Bench de Voice Arena, atteignant un taux d'erreur de diarisation (DER) de 14,72 % sur les conversations en anglais. Il prend en charge jusqu'à huit locuteurs simultanés et gère efficacement les discours qui se chevauchent grâce à une architecture basée sur Sortformer utilisant la mise en cache des locuteurs par ordre d'arrivée. Cette approche garantit une étiquetage stable des locuteurs lors de l'inférence en streaming en maintenant le contexte entre les segments audio. Les benchmarks indiquent une réduction relative moyenne de 40 % du DER par rapport aux précédentes références de NVIDIA, avec une latence de 1,04 seconde. Le système propose des points de fonctionnement configurables allant du traitement hors ligne au streaming à ultra-faible latence, aussi court que 0,32 seconde. Les développeurs peuvent intégrer le modèle via NVIDIA NeMo Speech pour créer des transcriptions attribuées aux locuteurs lorsqu'il est combiné avec la reconnaissance automatique de la parole. Le modèle est disponible sous l'accord de licence OpenMDW et prend en charge divers formats audio sur le matériel NVIDIA compatible.
huggingface