Saiba quem falou quando: Crie IA multilocutor em tempo real com a Diarização NVIDIA Nemotron 3
huggingface ·
A NVIDIA lançou o Nemotron 3 Diarization, um modelo de pesos abertos com 100 milhões de parâmetros projetado para análise de áudio em tempo real com múltiplos falantes. O modelo ocupa a primeira posição no leaderboard inicial do Voice Arena's Diarization-Bench, alcançando uma Taxa de Erro de Diarização (DER) de 14,72% em conversas em inglês. Ele suporta até oito falantes simultâneos e lida eficazmente com fala sobreposta por meio de uma arquitetura baseada em Sortformer que utiliza cache de falantes por ordem de chegada. Essa abordagem garante a estabilidade na rotulação dos falantes durante a inferência em streaming, mantendo o contexto entre os blocos de áudio. Os benchmarks indicam uma redução relativa média de 40% na DER em comparação com as bases anteriores da NVIDIA, com latência de 1,04 segundo. O sistema oferece pontos de operação configuráveis, variando do processamento offline ao streaming de ultra-baixa latência, com tempos tão curtos quanto 0,32 segundo. Os desenvolvedores podem integrar o modelo por meio do NVIDIA NeMo Speech para criar transcrições atribuídas a falantes quando combinado com Reconhecimento Automático de Fala. O modelo está disponível sob o Acordo de Licença OpenMDW e suporta vários formatos de áudio em hardware compatível da NVIDIA.
huggingface