使用 NVIDIA Nemotron 开源模型构建鬼屋 | AI Archive

使用 NVIDIA Nemotron 开源模型构建鬼屋

huggingface · 2026-10-30T17:57:24+00:00

NVIDIA工程师Rick Grandy和Maryam Motamedi展示了一个名为MonsterHouse的互动万圣节装置，其中包含一扇带有暴躁海盗主题的车库门。该系统利用NVIDIA Nemotron语音代理协调语音识别、大语言模型推理、文本转语音合成以及面部动画。关键组件包括用于听写的Nemotron Speech ASR、用于对话逻辑的Bolt E4B、用于语音生成的Magpie TTS Zeroshot，以及用于口型同步的Audio2Face-3D。该角色设计为起初具有敌意，但当访客使用“请”和“谢谢”等礼貌用语时会变得温和。视觉上下文由用于服装识别的Nemotron 3 Nano Omni和用于访客追踪的YOLO提供。所有处理均在配备NVIDIA RTX PRO GPU的单个工作站上本地运行，确保了低延迟和自给自足。该项目展示了使用开源模型和本地部署策略构建自定义AI角色的实际案例。