Construyendo una casa encantada con modelos abiertos de NVIDIA Nemotron
huggingface ·
Los ingenieros de NVIDIA Rick Grandy y Maryam Motamedi presentan una instalación interactiva de Halloween llamada MonsterHouse, que cuenta con un garaje de temática pirata de mal genio. El sistema utiliza el agente de voz Nemotron de NVIDIA para coordinar el reconocimiento de voz, el razonamiento mediante modelos de lenguaje grandes (LLM), la síntesis de texto a voz y la animación facial. Los componentes clave incluyen Nemotron Speech ASR para la escucha, Bolt E4B para la lógica conversacional, Magpie TTS Zeroshot para la generación de voz y Audio2Face-3D para la sincronización labial. El personaje está diseñado para ser inicialmente hostil, pero se suaviza cuando los visitantes utilizan modales corteses como "por favor" y "gracias". El contexto visual se proporciona mediante Nemotron 3 Nano Omni para identificar los disfraces y YOLO para rastrear a los visitantes. Todo el procesamiento se ejecuta localmente en una sola estación de trabajo equipada con GPUs NVIDIA RTX PRO, lo que garantiza baja latencia y autonomía. El proyecto sirve como un ejemplo práctico de construcción de personajes de IA personalizados utilizando modelos de código abierto y estrategias de implementación local.
huggingface