Nvidias offenes Nemotron 3.5 Transcribe kombiniert Transkription, Übersetzung und Sprechererkennung
decoder ·
Nvidia hat Nemotron 3.5 Transcribe veröffentlicht, ein offenes Sprachmodell, das Transkription, Übersetzung und Sprechererkennung in einem einzigen System integriert. Das Modell unterstützt bis zu 40 Sprachen für die Transkription und verarbeitet Audiodateien von bis zu einer Stunde Länge mit mehreren Sprechern. Obwohl es 30 Milliarden Parameter enthält, sind pro Schritt nur 4 Milliarden aktiv, was eine effiziente Ausführung auf einer einzelnen GPU ermöglicht. Es erreicht Spitzenplatzierungen bei verschiedenen Benchmarks, darunter dem Hugging Face English Open ASR Leaderboard und den Sprecherzuordnungstests von VoiceArena. Zusammen mit dem Modell stellte Nvidia Granary v2 vor, einen Datensatz mit 844.000 Stunden Audio in 48 Sprachen. Das Unternehmen bot zudem Tools zur Feinabstimmung des Modells in spezialisierten Domänen an, wobei sich in medizinischen Kontexten erhebliche Genauigkeitsverbesserungen zeigten. Während das Basismodell robuste Leistung bietet, wird Nutzern geraten, die Ausgaben stichprobenartig zu überprüfen, da Echtzeitverarbeitung nicht unterstützt wird.
decoder