Nemotron 3.5 Transcribe d'Nvidia : un modèle ouvert combinant transcription, traduction et reconnaissance des locuteurs
decoder ·
Nvidia a publié Nemotron 3.5 Transcribe, un modèle de parole open source qui intègre la transcription, la traduction et la reconnaissance des locuteurs en un seul système. Le modèle prend en charge jusqu'à 40 langues pour la transcription et gère des fichiers audio d'une durée maximale d'une heure avec plusieurs locuteurs. Bien qu'il compte 30 milliards de paramètres, seuls 4 milliards sont actifs à chaque étape, ce qui lui permet de fonctionner efficacement sur une seule carte graphique. Il obtient les meilleurs classements sur plusieurs benchmarks, notamment le classement Hugging Face English Open ASR et les tests d'attribution des locuteurs de VoiceArena. Parallèlement au modèle, Nvidia a présenté Granary v2, un jeu de données composé de 844 000 heures d'audio dans 48 langues. L'entreprise a également fourni des outils pour affiner le modèle dans des domaines spécialisés, démontrant des améliorations significatives de la précision dans les contextes médicaux. Bien que le modèle de base offre des performances robustes, il est conseillé aux utilisateurs de vérifier ponctuellement les sorties et de noter que le traitement en temps réel n'est pas pris en charge.
decoder