एनवीडिया नेमोट्रॉन ओपन मॉडल्स के साथ एक हैunted हाउस बनाना
huggingface ·
NVIDIA के इंजीनियर रिक ग्रैंडी और मेरम मोतामेदी ने 'मॉन्स्टरहाउस' नामक एक इंटरैक्टिव हैलोवीन इंस्टॉलेशन का प्रदर्शन किया, जिसमें एक क्रोधित पिरेट थीम वाली गैरेज दरवाजा शामिल है। इस सिस्टम में NVIDIA Nemotron Voice Agent का उपयोग बोलचान की पहचान, बड़े भाषा मॉडल (LLM) तर्क, टेक्स्ट-टू-स्पीच संश्लेषण और फेशियल एनिमेशन को समन्वयित करने के लिए किया गया है। मुख्य घटकों में सुनने के लिए Nemotron Speech ASR, बौद्धिक तर्क के लिए Bolt E4B, आवाज़ उत्पन्न करने के लिए Magpie TTS Zeroshot और लीप-सिंक के लिए Audio2Face-3D शामिल हैं। चरित्र को शुरू में दुश्मनी भरा बनाया गया है, लेकिन जब मेहमान 'कृपया' और 'धन्यवाद' जैसे विनम्र शब्दों का उपयोग करते हैं तो वह नरम हो जाता है। पोशाक की पहचान के लिए Nemotron 3 Nano Omni और मेहमानों की ट्रैकिंग के लिए YOLO द्वारा दृश्य संदर्भ प्रदान किया जाता है। सभी प्रोसेसिंग एक अकेले वर्कस्टेशन पर स्थानीय रूप से चलती है, जिसमें NVIDIA RTX PRO GPUs लगे होते हैं, जो कम लेटेन्सी और स्वतंत्रता सुनिश्चित करते हैं। यह परियोजना ओपन-सोर्स मॉडल्स और स्थानीय तैनाती रणनीतियों का उपयोग करके कस्टम AI चरित्र बनाने का एक व्यावहारिक उदाहरण है।
huggingface