Conosci chi ha parlato quando: Costruisci AI multisorso in tempo reale con la Diarizzazione NVIDIA Nemotron 3
huggingface ·
NVIDIA ha rilasciato Nemotron 3 Diarization, un modello open-weight con 100 milioni di parametri progettato per l'analisi audio in tempo reale con più parlanti. Il modello si classifica al primo posto nella prima versione della leaderboard Diarization-Bench di Voice Arena, ottenendo un tasso di errore di diarizzazione (DER) del 14,72% nelle conversazioni in inglese. Supporta fino a otto parlanti simultanei e gestisce efficacemente il discorso sovrapposto grazie a un'architettura basata su Sortformer che utilizza la cache degli ordini di arrivo dei parlanti. Questo approccio garantisce una stabilizzazione dell'etichettatura dei parlanti durante l'inferenza in streaming, mantenendo il contesto attraverso i segmenti audio. I benchmark indicano una riduzione media relativa del DER del 40% rispetto ai precedenti baseline di NVIDIA, con una latenza di 1,04 secondi. Il sistema offre punti operativi configurabili che vanno dall'elaborazione offline allo streaming ultra-low-latency, con latenze brevi fino a 0,32 secondi. Gli sviluppatori possono integrare il modello tramite NVIDIA NeMo Speech per creare trascrizioni attribuite ai singoli parlanti, in combinazione con il riconoscimento automatico del parlato. Il modello è disponibile secondo l'OpenMDW License Agreement e supporta vari formati audio su hardware NVIDIA compatibile.
huggingface