Nvidia rilascia un modello gratuito da 100M di parametri per l'identificazione fino a otto parlanti in tempo reale
decoder ·
Nvidia ha rilasciato Nemotron 3 Diarization, un modello AI gratuito con circa 100 milioni di parametri progettato per identificare i parlanti in audio in tempo reale. Il sistema può distinguere fino a otto voci diverse e rilevare istanze di sovrapposizione del parlato all'interno delle conversazioni. È compatibile sia con file registrati che con flussi audio live, spesso abbinato a strumenti di riconoscimento vocale come Parakeet per generare trascrizioni etichettate. Nel VoiceArena Diarization Benchmark v1, il modello ha ottenuto un Diarization Error Rate (DER) del 14,7%, posizionandosi al primo posto nelle classifiche attuali. Questo risultato rappresenta un miglioramento significativo rispetto al suo predecessore, Streaming Sortformer, riducendo i tassi di errore di una media del 41 percento in vari scenari di test. Sebbene il modello gestisca bene le condizioni standard, l'accuratezza potrebbe diminuire quando si affrontano forti rumori di fondo, riverbero o più di otto partecipanti. Gli utenti possono regolare le impostazioni del buffer audio tra 0,32 e 30,4 secondi, sebbene buffer più corti generalmente risultino in una precisione inferiore.
decoder