知晓谁在何时发言：使用 NVIDIA Nemotron 3 语音分离构建实时多说话人 AI
huggingface ·
NVIDIA 发布了 Nemotron 3 Diarization，这是一款拥有 1 亿参数的开源权重模型，专为实时多说话人音频分析而设计。该模型在 Voice Arena 的初始 Diarization-Bench 排行榜上排名第一，在英语对话中实现了 14.72% 的语音分割错误率（DER）。它支持多达八个同时出现的说话人，并通过基于 Sortformer 的架构有效处理重叠语音，该架构利用到达顺序说话人缓存技术。这种方法通过在音频块之间保持上下文，确保流式推理期间说话人标签的稳定性。基准测试显示，在 1.04 秒的延迟下，与之前的 NVIDIA 基线相比，DER 平均相对降低了 40%。该系统提供可配置的操作点，范围从离线处理到低至 0.32 秒的超低延迟流式传输。开发者可以通过 NVIDIA NeMo Speech 集成该模型，结合自动语音识别（ASR）生成带有说话人归属的转录文本。该模型在 OpenMDW 许可协议下发布，并支持兼容 NVIDIA 硬件上的各种音频格式。
huggingface