Nvidia lança um modelo gratuito de 100 milhões de parâmetros que identifica até oito falantes em tempo real
decoder ·
A Nvidia lançou o Nemotron 3 Diarization, um modelo de IA gratuito com aproximadamente 100 milhões de parâmetros projetado para identificar falantes em áudio em tempo real. O sistema consegue distinguir até oito vozes diferentes e detectar sobreposições de fala durante conversas. Ele é compatível tanto com arquivos gravados quanto com fluxos de áudio ao vivo, frequentemente sendo combinado com ferramentas de reconhecimento de fala, como o Parakeet, para gerar transcrições rotuladas. No Benchmark de Diarização VoiceArena v1, o modelo atingiu uma Taxa de Erro de Diarização (DER) de 14,7%, posicionando-se no topo das classificações atuais. Esse desempenho representa uma melhoria significativa em relação ao seu antecessor, o Streaming Sortformer, reduzindo as taxas de erro em uma média de 41% em vários cenários de teste. Embora o modelo tenha bom desempenho em condições padrão, a precisão pode diminuir ao lidar com ruído de fundo intenso, reverberação ou mais de oito participantes. Os usuários podem ajustar os buffers de áudio entre 0,32 e 30,4 segundos, embora buffers menores geralmente resultem em menor precisão.
decoder