रे ल एल एम डीप लर्निंग कंटेनर्स का उपयोग करके मल्टी-नोड इनफरेंस वर्कलोड चलाएं
aws ·
यह लेख Ray LLM Deep Learning Containers का उपयोग करके Amazon EKS पर कई GPU नोड्स के बीच बड़े भाषा मॉडलों को कैसे तैनात किया जाए, इसका प्रदर्शन करता है। समाधान में 'प्रीफिल' और 'डीकोड' डिसेग्रीग्रेशन लागू किया गया है, जहाँ एक नोड प्रॉम्प्रोसेसिंग संभालता है जबकि दूसरा टोकन जनरेट करता है, जिससे कम्प्यूट-हेवी और मेमोरी-बाउंड चरणों के बीच संसाधन प्रतिद्वंद्विता से बचा जाता है। AWS ने vLLM, Ray Serve, कैश ट्रांसफर के लिए NIXL और Elastic Fabric Adapter स्टैक को समेटे हुए एक पूर्व-निर्मित कंटेनर इमेज प्रदान की है, जिससे कस्टम बॉयलरप्लेट कोड या मैन्युअल निर्भरता प्रबंधन की आवश्यकता समाप्त हो जाती है। तैनाती आर्किटेक्चर ऑर्केस्ट्रेशन के लिए एक CPU हेड नोड और कम लैटेंसी संचार सुनिश्चित करने के लिए एक ही Availability Zone में पिन् किए गए दो GPU वर्कर नोड्स का उपयोग करता है। OpenAI-संगत एंडपॉइंट के पीछे KV-कैश ट्रांसफर को स्वचालित रूप से जोड़ने वाला YAML-आधारित एप्लिकेशन बिल्डर के माध्यम से कॉन्फ़िगरेशन सरल बना दिया गया है। गाइड EKS क्लस्टर प्रोविज़निंग, KubeRay ऑपरेटर स्थापित करना और विशिष्ट मॉडल पैरामीटर के साथ RayService तैनात करने के लिए चरण-दर-चरण प्रक्रिया बताती है। अंत में, यह एंडपॉइंट को इंकॉक करने, EFA उपयोग की पुष्टि करने और चलते रहने वाले चार्ज से बचने के लिए संसाधनों को साफ़ करने के निर्देश प्रदान करती है।
aws