Amazon SageMaker HyperPod Inference Gateway का परिचय
aws ·
AWS ने Amazon SageMaker HyperPod Inference Gateway की घोषणा की है। यह मौजूदा HyperPod और EKS क्लस्टरों के लिए Kubernetes-native, GPU-aware रूटिंग ऐड-ऑन है, जिसके लिए एप्लिकेशन या मॉडल-सर्वर में किसी बदलाव की आवश्यकता नहीं है। इसके दो-स्तरीय डिज़ाइन में एक Envoy Gateway, मॉडल चयन के लिए Body-Based Router और KV-cache उपयोग, कतार की गहराई, LoRA एडाप्टर की उपलब्धता, prefix-cache हिट्स तथा सक्रिय अनुरोधों जैसे रीयल-टाइम मेट्रिक्स का उपयोग करने वाला Endpoint Picker शामिल है। Gateway को एकल EKS ऐड-ऑन के रूप में इंस्टॉल और घोषणात्मक तरीके से कॉन्फ़िगर किया जा सकता है, साथ ही यह मौजूदा क्लाइंट के लिए मानक OpenAI-संगत एंडपॉइंट उपलब्ध कराता है। यह मल्टी-मॉडल रूटिंग का समर्थन करता है और LoRA अनुरोधों को उन पॉड्स तक भेजता है जिनमें आवश्यक एडाप्टर पहले से लोड है। Kubernetes राउंड-रॉबिन रूटिंग के मुकाबले AWS के बेंचमार्क में मिश्रित-GPU, अचानक बढ़ने वाले ट्रैफ़िक और साझा-प्रीफ़िक्स परिदृश्यों में फर्स्ट-टोकन टेल लेटेंसी में पर्याप्त कमी और थ्रूपुट में बढ़ोतरी दर्ज की गई, जबकि स्थिर ट्रैफ़िक वाले समान हार्डवेयर वाले फ़्लीट पर परिणाम तुलनीय रहे। टियर 1 उन क्षेत्रों में उपलब्ध है जो inference ऐड-ऑन का समर्थन करते हैं, जबकि क्रॉस-क्लस्टर और क्रॉस-रीजन Global Inference Router को भविष्य के रिलीज़ के लिए नियोजित किया गया है।
aws