Construindo uma casa assombrada com modelos abertos da NVIDIA Nemotron
huggingface ·
Os engenheiros da NVIDIA, Rick Grandy e Maryam Motamedi, demonstraram uma instalação interativa de Halloween chamada MonsterHouse, que apresenta uma porta de garagem com tema de pirata mal-humorado. O sistema utiliza o NVIDIA Nemotron Voice Agent para coordenar reconhecimento de fala, raciocínio por meio de modelos de linguagem grandes (LLMs), síntese de texto em fala (TTS) e animação facial. Os componentes principais incluem o Nemotron Speech ASR para escuta, Bolt E4B para lógica conversacional, Magpie TTS Zeroshot para geração de voz e Audio2Face-3D para sincronia labial. O personagem foi projetado para ser inicialmente hostil, mas se torna mais amável quando os visitantes usam educação, como dizer "por favor" e "obrigado". O contexto visual é fornecido pelo Nemotron 3 Nano Omni para identificação de fantasias e YOLO para rastreamento de visitantes. Todo o processamento ocorre localmente em uma única estação de trabalho equipada com GPUs NVIDIA RTX PRO, garantindo baixa latência e autonomia. O projeto serve como um exemplo prático de criação de personagens de IA personalizados usando modelos de código aberto e estratégias de implantação local.
huggingface