Amazon SageMaker AI पर कन्करेंसी स्वीप्स के साथ जनरेटिव एआई एंडपॉइंट्स को सही ढंग से साइज़ करें
aws ·
यह लेख Amazon SageMaker AI पर जनरेटिव AI एंडपॉइंट्स को सही आकार देने के लिए 'कन्करेंसी स्वीप्स' (concurrency sweeps) को एक व्यवस्थित विधि के रूप में पेश करता है, जिसका उद्देश्य स्वीकार्य विलंबता बनाए रखते हुए कीमत-प्रदर्शन अनुपात को अधिकतम करना है। नियंत्रित और बढ़ते कन्करेंट ट्रैफिक भेजकर, उपयोगकर्ता एंडपॉइंट के संतृप्ति बिंदु की पहचान कर सकते हैं, जहाँ थ्रूपुट स्थिर हो जाता है और विलंबता में तेजी आती है। इस कार्यप्रवाह में नेटिव vLLM कंटेनर का उपयोग करके मॉडल तैनात करना, वर्कलोड प्रोफाइल कॉन्फ़िगर करना और CreateAIBenchmarkJob API के माध्यम से स्वचालित बेंचमार्किंग चलाना शामिल है। इष्टतम क्षमता निर्धारित करने और ओवर-प्रोविज़निंग या सेवा में गिरावट से बचने के लिए थ्रूपुट, p99 विलंबता और पहले टोकन तक समय जैसे प्रमुख मेट्रिक्स का विश्लेषण किया जाता है। अधिक उन्नत योजना के लिए, लेख एक स्वचालित SLA-आधारित खोज रेसिपी का वर्णन करता है जो विशिष्ट प्रदर्शन सीमाओं को पूरा करने वाले अधिकतम कन्करेंसी को कुशलतापूर्वक खोजती है। यह दृष्टिकोण मान्य अनुमानों को डेटा-संचालित निर्णयों से बदल देता है, जिससे टीमों को उत्पादन ट्रैफिक शुरू होने से पहले अपनी फ्लीट को आत्मविश्वास के साथ साइज़ करने की सुविधा मिलती है। NVIDIA Nemotron-3 Nano 30B मॉडल के माध्यम से इस प्रक्रिया का व्याख्या किया गया है, जिसमें परिणामों की व्याख्या कैसे करें और बाद में संसाधनों को साफ़ कैसे करें, यह दिखाया गया है।
aws