Ein Spukhaus mit den offenen NVIDIA Nemotron-Modellen bauen
huggingface ·
NVIDIA-Ingenieure Rick Grandy und Maryam Motamedi präsentieren eine interaktive Halloween-Installation namens MonsterHouse, die eine mürrische Garagentür im Piraten-Thema umfasst. Das System nutzt den NVIDIA Nemotron Voice Agent zur Koordination von Spracherkennung, reasoning mit großen Sprachmodellen, Text-zu-Sprache-Synthese und Gesichtsanimation. Zu den Hauptkomponenten gehören Nemotron Speech ASR zum Zuhören, Bolt E4B für die Konversationslogik, Magpie TTS Zeroshot zur Stimmgenerierung und Audio2Face-3D für die Lippen-Synchronisation. Der Charakter ist zunächst feindselig, wird jedoch freundlicher, wenn Besucher höfliche Floskeln wie „bitte“ und „danke“ verwenden. Visuelle Kontextinformationen liefert Nemotron 3 Nano Omni zur Identifizierung der Kostüme sowie YOLO zur Verfolgung der Besucher. Die gesamte Verarbeitung läuft lokal auf einer einzigen Workstation mit NVIDIA RTX PRO GPUs, was niedrige Latenzzeiten und Autarkie gewährleistet. Das Projekt dient als praktisches Beispiel für den Aufbau benutzerdefinierter KI-Charaktere unter Verwendung von Open-Source-Modellen und lokalen Bereitstellungsstrategien.
huggingface