NVIDIA Nemotron 3.5 Transcribe et Granary v2 : Une transcription multilingue intelligente, modulable et adaptable
huggingface ·
NVIDIA a publié Nemotron 3.5 Transcribe, un modèle à poids ouverts qui combine transcription multilingue, attribution des locuteurs, traduction et réponse aux questions audio dans un seul point de contrôle. Le modèle prend en charge 40 langues pour la transcription et obtient les meilleurs classements sur plusieurs tableaux de leader majeurs, dont le Hugging Face Open ASR Leaderboard et le benchmark de diarisation de David AI. Une fonctionnalité clé est sa capacité à être « promptable », permettant aux développeurs de guider les formats de sortie et le jargon spécifique au domaine à l'aide d'instructions en langage naturel, sans nécessiter de réglage fin immédiat. Pour soutenir l'adaptation, NVIDIA a également introduit Granary v2, un pipeline de curation de données ouvert comprenant plus de 463 000 heures de données vocales multilingues. Des études de cas montrent que le réglage fin avec ce pipeline peut réduire considérablement les taux d'erreur de mots dans des domaines spécialisés tels que la santé. Le système fonctionne efficacement sur des GPU NVIDIA uniques, allant des appareils périphériques aux serveurs de centre de données, en utilisant une architecture hybride Mamba-Transformer. Les développeurs peuvent accéder au modèle via Hugging Face, ModelScope ou des points de terminaison hébergés, avec des outils fournis pour le déploiement local et l'entraînement personnalisé.
huggingface