Nvidia发布免费1亿参数模型，可实时识别多达八名说话人
decoder ·
英伟达发布了免费的 Nemotron 3 Diarization AI 模型，该模型拥有约 1 亿个参数，旨在实时识别音频中的说话人。该系统能够区分多达八种不同的声音，并检测对话中重叠的语音片段。它兼容录音文件和实时音频流，通常与 Parakeet 等语音识别工具配合使用以生成带标签的转录文本。在 VoiceArena 说话人分离基准测试 v1 中，该模型的说话人分离错误率（DER）为 14.7%，位居当前排名首位。这一性能较其前身 Streaming Sortformer 有显著提升，在各种测试场景中平均将错误率降低了 41%。虽然该模型在标准条件下表现良好，但在处理严重背景噪音、混响或超过八名参与者时，准确率可能会下降。用户可以将音频缓冲区设置在 0.32 到 30.4 秒之间，但较短的缓冲区通常会导致精度降低。
decoder