NVIDIA Nemotron 3.5 Transcribe e Granary v2: Transcrição multilíngue inteligente que você pode solicitar e adaptar
huggingface ·
A NVIDIA lançou o Nemotron 3.5 Transcribe, um modelo de pesos abertos que combina transcrição multilíngue, atribuição de falantes, tradução e perguntas e respostas sobre áudio em um único checkpoint. O modelo oferece suporte a 40 idiomas para transcrição e alcançou as melhores classificações em vários rankings principais, incluindo o Hugging Face Open ASR Leaderboard e o benchmark de diarização da David AI. Uma característica fundamental é sua capacidade de ser instruído por prompts, permitindo que desenvolvedores orientem os formatos de saída e jargões específicos de domínio usando instruções em linguagem natural, sem necessidade de ajuste fino imediato. Para apoiar a adaptação, a NVIDIA também apresentou o Granary v2, um pipeline aberto de curadoria de dados com mais de 463.000 horas de dados de fala multilíngues. Estudos de caso demonstram que o ajuste fino com este pipeline pode reduzir significativamente as taxas de erro de palavras em campos especializados, como o setor de saúde. O sistema opera com eficiência em GPUs individuais da NVIDIA, variando de dispositivos de borda a servidores de data centers, utilizando uma arquitetura híbrida Mamba-Transformer. Os desenvolvedores podem acessar o modelo através do Hugging Face, ModelScope ou endpoints hospedados, com ferramentas fornecidas para implantação local e treinamento personalizado.
huggingface