Wissen Sie, wer wann sprach: Bauen Sie Echtzeit-Multi-Sprecher-KI mit NVIDIA Nemotron 3-Diarisierung auf
huggingface ·
NVIDIA hat Nemotron 3 Diarization veröffentlicht, ein Open-Weight-Modell mit 100 Millionen Parametern, das für die Echtzeit-Analyse von Audio mit mehreren Sprechern entwickelt wurde. Das Modell belegt den ersten Platz auf der initialen Diarization-Bench-Leaderboard von Voice Arena und erzielt eine Diarization Error Rate (DER) von 14,72 % bei englischen Gesprächen. Es unterstützt bis zu acht gleichzeitige Sprecher und bewältigt effektiv überlappende Sprache durch eine Sortformer-basierte Architektur, die einen Arrival-Order-Speaker-Caching nutzt. Dieser Ansatz gewährleistet stabile Sprecherkennzeichnungen während des Streaming-Inferenzprozesses, indem er den Kontext über Audiostreamschnitte hinweg beibehält. Benchmarks zeigen eine durchschnittliche relative Reduzierung der DER um 40 % im Vergleich zu früheren NVIDIA-Basiswerten bei einer Latenz von 1,04 Sekunden. Das System bietet konfigurierbare Betriebsmodi, die vom Offline-Verarbeitung bis zum Ultra-Low-Latency-Streaming mit Latenzen von nur 0,32 Sekunden reichen. Entwickler können das Modell über NVIDIA NeMo Speech integrieren, um sprecherzugeordnete Transkripte zu erstellen, wenn es mit Automatic Speech Recognition kombiniert wird. Das Modell ist gemäß der OpenMDW License Agreement verfügbar und unterstützt verschiedene Audioformate auf kompatibler NVIDIA-Hardware.
huggingface