Amazon SageMaker AI पर Kokoro TTS का उपयोग करके AI एजेंट्स से कम लैटेंसी वाले स्पीच को स्ट्रीम करें
aws ·
यह लेख Amazon SageMaker AI पर Kokoro-82M मॉडल का उपयोग करके टेक्स्ट जनरेशन के साथ समवर्ती रूप से टेक्स्ट-टू-स्पीच संश्लेषण को स्ट्रीमिंग द्वारा AI वॉइस एजेंट्स में अल्पविषमता (latency) को कम करने की विधि प्रदर्शित करता है। पूर्ण प्रतिक्रिया का प्रतीक्षा किए बिना, सिस्टम द्विदिशीय WebSocket स्ट्रीम के माध्यम से प्रत्येक वाक्य को तुरंत TTS एंडपॉइंट पर भेजता है। इस समाधान में ml.g5.xlarge GPU इंस्टेंस पर एक कस्टम कंटेनर तैनात करना और Starlette एप्लिकेशन के भीतर बाइनरी WebSocket फ्रेम्स को सही ढंग से हैंडल करना शामिल है। एक मुख्य तकनीकी चुनौती जो दूर की गई है, वह है पुनः कनेक्ट होने की ओवरहेड से बचने के लिए एक स्थायी सत्र बनाए रखते हुए क्रमिक वाक्यों को प्रोसेस करना। ऑडियो को क्लाइंट तक पहुँचाने के लिए, लेखक base64-एन्कोडेड Server-Sent Events और उसी कनेक्शन पर कच्चे बाइनरी डेटा के मल्टीप्लेक्सिंग की तुलना करते हैं। बेंचमार्क दर्शाते हैं कि यह बढ़ते हुए (incremental) दृष्टिकोण अलग-अलग परीक्षणों में पहले ऑडियो तक समय को आधा से अधिक कम कर देता है और बैच प्रोसेसिंग की तुलना में अंत-से-अंत प्रदर्शन को 2.4 से 3.5 गुना बेहतर बनाता है। गाइड AWS CDK का उपयोग करके वाक्य चंकिंग, फ्रेम डिकोडिंग और इंफ्रास्ट्रक्चर तैनाती के लिए विशिष्ट कोड उदाहरण प्रदान करती है।
aws