अमेज़न सैगमाकर एआई पर टीटीएस के लिए ऑटो स्केलिंग लक्ष्यों को अनुमानित करना बंद करें
aws ·
यह लेख Amazon SageMaker AI पर Text-to-Speech (TTS) एंडपॉइंट्स के लिए ऑटो-स्केलिंग टारगेट्स में अनुमान लगाने की प्रक्रिया को समाप्त करने का एक तरीका प्रस्तुत करता है। यह उजागर करता है कि डिफ़ॉल्ट मेट्रिक्स अक्सर TTS के लिए विफल रहते हैं क्योंकि अनुरोध टोकन-जनरेशन लूप के बिना कनेक्शन को खुला रखते हैं, जिससे संवहन (concurrency) महत्वपूर्ण कारक बन जाता है। लेखक Kokoro-82M मॉडल को तैनात करते हैं और दो मुख्य मानों को मापते हैं: Q_max, वह अधिकतम संवहन जिससे पहले सेवा स्तर उद्देश्य (SLO) का उल्लंघन होता है, और T_total, जो अंत-से-अंत स्केल-आउट समय है। इन मापों का उपयोग करके, लेख सटीक स्केल-आउट और स्केल-इन थ्रेशोल्ड और फ्लैपिंग से बचने के लिए असममित कुलडाउन (asymmetric cooldowns) व्युत्पन्न करता है। समाधान AWS Cloud Development Kit स्टैक्स और एक कस्टम CLI टूल चेन का उपयोग करता है ताकि यह सुनिश्चित किया जा सके कि कोई भी अमापा कॉन्फ़िगरेशन उत्पादन में न पहुंचे। यह दृष्टिकोण धारणाओं को डेटा-संचालित गणना से बदल देता है, जिससे लागत दक्षता और विलंबता अनुपालन सुनिश्चित होता है। इस पद्धति को TTS के अलावा अन्य विलंबता-संवेदी, रियल-टाइम एंडपॉइंट्स के लिए सामान्यीकृत करने के लिए डिज़ाइन किया गया है।
aws