Постройте дом с привидениями с помощью открытых моделей NVIDIA Nemotron
huggingface ·
Инженеры NVIDIA Рик Гранди и Мэриам Мотамади демонстрируют интерактивную инсталляцию ко Дню Хэллоуина под названием MonsterHouse, в которой представлена ворчливая гаражная дверь с пиратской тематикой. Система использует голосового агента NVIDIA Nemotron для координации распознавания речи, рассуждений на основе большой языковой модели, синтеза речи и анимации лица. Ключевые компоненты включают Nemotron Speech ASR для прослушивания, Bolt E4B для диалоговой логики, Magpie TTS Zeroshot для генерации голоса и Audio2Face-3D для синхронизации губ. Персонаж изначально настроен враждебно, но становится мягче, когда посетители используют вежливые выражения, такие как «please» (пожалуйста) и «thank you» (спасибо). Визуальный контекст обеспечивается моделью Nemotron 3 Nano Omni для идентификации костюмов и YOLO для отслеживания посетителей. Вся обработка выполняется локально на одной рабочей станции, оснащенной графическими процессорами NVIDIA RTX PRO, что обеспечивает низкую задержку и автономность. Проект служит практическим примером создания пользовательских ИИ-персонажей с использованием моделей с открытым исходным кодом и стратегий локального развертывания.
huggingface