Construire une maison hantée avec les modèles ouverts NVIDIA Nemotron
huggingface ·
Les ingénieurs de NVIDIA Rick Grandy et Maryam Motamedi présentent une installation interactive d'Halloween appelée MonsterHouse, qui met en scène un portail de garage au thème pirate grincheux. Le système utilise l'agent vocal NVIDIA Nemotron pour coordonner la reconnaissance vocale, le raisonnement par grand modèle de langage (LLM), la synthèse text-to-speech et l'animation faciale. Les composants clés incluent Nemotron Speech ASR pour l'écoute, Bolt E4B pour la logique conversationnelle, Magpie TTS Zeroshot pour la génération de voix et Audio2Face-3D pour la synchronisation labiale. Le personnage est conçu pour être initialement hostile, mais il s'adoucit lorsque les visiteurs utilisent des manières polies telles que « s'il vous plaît » et « merci ». Le contexte visuel est assuré par Nemotron 3 Nano Omni pour l'identification des costumes et YOLO pour le suivi des visiteurs. Tout le traitement s'exécute localement sur une seule station de travail équipée de GPU NVIDIA RTX PRO, garantissant une faible latence et une autonomie complète. Ce projet constitue un exemple pratique de création de personnages IA personnalisés à l'aide de modèles open source et de stratégies de déploiement local.
huggingface