O Nemotron 3.5 Transcribe aberto da Nvidia combina transcrição, tradução e reconhecimento de falantes
decoder ·
A Nvidia lançou o Nemotron 3.5 Transcribe, um modelo de fala aberto que integra transcrição, tradução e reconhecimento de locutores em um único sistema. O modelo suporta até 40 idiomas para transcrição e processa arquivos de áudio de até uma hora com múltiplos locutores. Embora contenha 30 bilhões de parâmetros, apenas 4 bilhões são ativos por etapa, permitindo execução eficiente em uma única GPU. Ele alcançou as melhores classificações em vários benchmarks, incluindo o Hugging Face's English Open ASR Leaderboard e os testes de atribuição de locutores da VoiceArena. Junto ao modelo, a Nvidia apresentou o Granary v2, um conjunto de dados composto por 844.000 horas de áudio em 48 idiomas. A empresa também forneceu ferramentas para ajuste fino do modelo em domínios especializados, demonstrando melhorias significativas na precisão em contextos médicos. Embora o modelo base ofereça desempenho robusto, recomenda-se aos usuários verificar amostras das saídas e observar que o processamento em tempo real não é suportado.
decoder