NVIDIA Nemotron 3.5 Transcribe 和 Granary v2:可提示且可适应的智能多语言转录方案
huggingface ·
NVIDIA发布了Nemotron 3.5 Transcribe,这是一个开放权重的模型,将多语言转录、说话人归属、翻译和音频问答整合到单个检查点中。该模型支持40种语言的转录,并在多个主要排行榜上名列前茅,包括Hugging Face开放自动语音识别(ASR)排行榜和David AI的说话人分离基准测试。其关键特性是可提示性,允许开发人员使用自然语言指令引导输出格式和特定领域的术语,而无需立即进行微调。为支持适配,NVIDIA还推出了Granary v2,这是一个开放的数据策展管道,包含超过46.3万小时的多语言语音数据。案例研究表明,使用该管道进行微调可以显著降低医疗等专门领域的词错误率。该系统采用混合Mamba-Transformer架构,能够在从边缘设备到数据中心服务器的单块NVIDIA GPU上高效运行。开发者可以通过Hugging Face、ModelScope或托管端点访问该模型,并提供了用于本地部署和自定义训练的工具。
huggingface