Nvidia veröffentlicht ein kostenloses Modell mit 100 Millionen Parametern zur Echtzeit-Erkennung von bis zu acht Sprechern
decoder ·
Nvidia hat Nemotron 3 Diarization veröffentlicht, ein kostenloses KI-Modell mit etwa 100 Millionen Parametern, das darauf ausgelegt ist, Sprecher in Echtzeit-Audio zu identifizieren. Das System kann bis zu acht verschiedene Stimmen unterscheiden und überlappende Sprechanteile in Gesprächen erkennen. Es ist sowohl für aufgezeichnete Dateien als auch für Live-Audio-Streams kompatibel und wird häufig mit Spracherkennungstools wie Parakeet kombiniert, um beschriftete Transkripte zu erstellen. Im VoiceArena-Diarisierungs-Benchmark v1 erreichte das Modell eine Diarisierungsfehlerquote (DER) von 14,7 %, was es an die Spitze der aktuellen Ranglisten bringt. Diese Leistung stellt eine erhebliche Verbesserung gegenüber seinem Vorgänger, Streaming Sortformer, dar, wobei die Fehlerquoten in verschiedenen Testszenarien im Durchschnitt um 41 Prozent gesenkt wurden. Während das Modell unter Standardbedingungen gut funktioniert, kann die Genauigkeit bei starkem Hintergrundgeräusch, Hall oder mehr als acht Teilnehmern sinken. Nutzer können die Audio-Puffereinstellungen zwischen 0,32 und 30,4 Sekunden anpassen, wobei kürzere Puffer jedoch generally zu einer geringeren Präzision führen.
decoder