NVIDIA Nemotron 3.5 Transcribe und Granary v2: Intelligente mehrsprachige Transkription zum Anpassen und Steuern
huggingface ·
NVIDIA hat Nemotron 3.5 Transcribe veröffentlicht, ein Open-Weight-Modell, das mehrsprachige Transkription, Sprecherzuordnung, Übersetzung und Audio-Fragebeantwortung in einem einzigen Checkpoint kombiniert. Das Modell unterstützt 40 Sprachen für die Transkription und erreicht Spitzenplatzierungen auf mehreren wichtigen Leaderboards, darunter dem Hugging Face Open ASR Leaderboard und dem Diarisierungs-Benchmark von David AI. Ein wichtiges Merkmal ist seine Promptbarkeit, die es Entwicklern ermöglicht, Ausgabformate und domänenspezifisches Fachvokabular durch natürliche Sprachanweisungen zu steuern, ohne sofortiges Fine-Tuning. Zur Unterstützung der Anpassung hat NVIDIA außerdem Granary v2 vorgestellt, eine offene Datenkuratierungspipeline mit über 463.000 Stunden mehrsprachiger Sprachdaten. Fallstudien zeigen, dass das Fine-Tuning mit dieser Pipeline die Wortfehlerquote in spezialisierten Bereichen wie dem Gesundheitswesen erheblich reduzieren kann. Das System läuft effizient auf einzelnen NVIDIA-GPUs, von Edge-Geräten bis hin zu Rechenzentrums-Servern, und nutzt eine hybride Mamba-Transformer-Architektur. Entwickler können das Modell über Hugging Face, ModelScope oder gehostete Endpunkte zugänglich machen, wobei Tools für lokale Bereitstellungen und benutzerdefiniertes Training bereitgestellt werden.
huggingface