Amazon EKS और SageMaker HyperPod EKS पर NVIDIA Nemotron मॉडल्स के साथ एजेंटिक AI को तेज़ करें
aws ·
AWS और NVIDIA ने Amazon EKS और SageMaker HyperPod EKS पर Nemotron 3.5 Super VL मॉडल की उपलब्धता की घोषणा की है, जिससे AWS पर मौजूदा Nemotron मॉडल की श्रृंखला में विस्तार हुआ है। यह नया 120B पैरामीटर वाला मिक्चर-ऑफ-एक्सपर्ट्स (mixture-of-experts) मॉडल प्रति टोकन केवल 12B पैरामीटर सक्रिय करता है और एकल बहुआयामी (multimodal) आर्किटेक्चर में तर्कशक्ति को टेक्स्ट, छवि, दस्तावेज़ और वीडियो समझ से जोड़ता है। मॉडल हाइब्रिड मेम्बा-ट्रांसफॉर्मर डिज़ाइन का उपयोग करता है, जो स्थिर-आकार की स्टेट लेयर्स के माध्यम से कुशल मेमोरी उपयोग बनाए रखते हुए एक मिलियन टोकन तक के संदर्भ लंबाई (context lengths) का समर्थन करता है। इसे कोडिंग सहायता, वेब रिसर्च, दस्तावेज़ बुद्धिमत्ता, साइबर सुरक्षा खतरेों का प्राथमिक वर्गीकरण (triage), और वीडियो विश्लेषण सहित एजेंटिक AI वर्कफ़्लोज़ के लिए डिज़ाइन किया गया है। डेप्लॉयमेंट विकल्पों में मानक Amazon EKS, EKS ऑटो मोड, और SageMaker HyperPod EKS शामिल हैं, जिनमें इनफरेंस सर्विंग के लिए NVIDIA Dynamo और vLLM का उपयोग किया जाता है। B200 और H200 GPU इंस्टेंसों पर प्रदर्शन सत्यापन किया गया है, जिसने एग्रीगेटेड और डिज़अग्रीगेटेड दोनों डेप्लॉयमेंट टोपोलॉजीज़ के लिए क्षमताओं को प्रदर्शित किया है। लेख सेवा स्तर उद्देश्यों (SLAs) के भीतर थ्रूपुट को अनुकूलित करने के लिए पहले टोकन तक का समय और इंटर-टोकन लेटेंसी जैसे लेटेंसी मेट्रिक्स का उपयोग करके क्षमता योजना के लिए विस्तृत मार्गदर्शन प्रदान करता है।
aws