सैगामेकर एआई पर vLLM-Omni के साथ रियल-टाइम वॉइस ऐप्लिकेशन बनाएं – भाग 1
aws ·
यह लेख अमेज़न SageMaker AI पर AWS vLLM-Omni डीप लर्निंग कंटेनर का उपयोग करके रियल-टाइम वॉइस एप्लिकेशन को डिप्लॉय करने के लिए एक तकनीकी ट्यूटोरियल प्रदान करता है। यह Qwen3-TTS मॉडल का उपयोग करके स्ट्रीमिंग टेक्स्ट-टू-स्पीच क्षमताओं पर केंद्रित है, जो पूर्ण प्रतिक्रिया पूरी होने से पहले ही ऑडियो जनरेशन शुरू करने की अनुमति देता है। समाधान SageMaker के HTTP/2 WebSockets के माध्यम से बाइडायरेक्शनल स्ट्रीमिंग का लाभ उठाता है, जिससे पाईस्थेबल कनेक्शन के माध्यम से टेक्स्ट इनपुट भेजा जाता है और 24 kHz PCM ऑडियो चंक प्राप्त किए जाते हैं। पाठकों को एक नमूना रिपॉजिटरी को क्लोन करना, GPU संसाधनों के लिए इंस्टेंस पूल कॉन्फ़िगर करना और एक रियल-टाइम एंडपॉइंट को डिप्लॉय करना सिखाया गया है। एक Gradio एप्लिकेशन का उपयोग कार्यप्रवाह को दिखाने के लिए किया जाता है, जो उपयोगकर्ताओं को टेक्स्ट इनपुट से स्ट्रीम्ड स्पीच जनरेट करने की सुविधा प्रदान करता है। ट्यूटोरियल पर जोर दिया गया है कि यह दृष्टिकोण पिछले स्पीच-टू-टेक्स्ट उदाहरणों का पूरक है, जिससे एक फुल डुप्लेक्स वॉइस पाइपलाइन बनती है। अंत में, लेखकों ने अनावश्यक शुल्क से बचने के लिए डिप्लॉय किए गए संसाधनों को साफ़ करने के निर्देश प्रदान किए हैं।
aws