Costruire una casa infestata con i modelli open di NVIDIA Nemotron
huggingface ·
Gli ingegneri di NVIDIA Rick Grandy e Maryam Motamedi hanno presentato un'installazione interattiva per Halloween chiamata MonsterHouse, che include un portone del garage a tema pirata dal carattere burbero. Il sistema utilizza l'agente vocale NVIDIA Nemotron per coordinare il riconoscimento vocale, il ragionamento tramite modelli linguistici di grandi dimensioni (LLM), la sintesi vocale da testo (TTS) e l'animazione facciale. I componenti chiave includono Nemotron Speech ASR per l'ascolto, Bolt E4B per la logica conversazionale, Magpie TTS Zeroshot per la generazione della voce e Audio2Face-3D per la sincronizzazione labiale. Il personaggio è progettato per essere inizialmente ostile, ma si addolcisce quando i visitatori utilizzano modi gentili come "per favore" e "grazie". Il contesto visivo è fornito da Nemotron 3 Nano Omni per l'identificazione dei costumi e da YOLO per il tracciamento dei visitatori. Tutte le elaborazioni avvengono localmente su una singola workstation dotata di GPU NVIDIA RTX PRO, garantendo bassa latenza e autonomia. Il progetto rappresenta un esempio pratico di creazione di personaggi AI personalizzati utilizzando modelli open-source e strategie di distribuzione locale.
huggingface