हर बाइट से अधिक प्रदर्शन: फुल-स्टैक कोडसाइन एआई की मेमोरी चुनौती को कैसे हल करता है
nvidia ·
NVIDIA एआई इनफरेंस में बढ़ती मेमोरी दबाव को फुल-स्टैक कोडसाइन के माध्यम से संबोधित कर रहा है, जिसमें प्रदर्शन को अनुकूलित करने के लिए GPUs, CPUs, नेटवर्किंग और सॉफ़्टवेयर को एकीकृत किया गया है। जैसे-जैसे मॉडल बड़े हो रहे हैं और एजेंटिक एप्लिकेशन अधिक संदर्भ की आवश्यकता रखते हैं, GPU हाई-बैंडविड्थ मेमोरी (HBM) मॉडल वेट्स और KV कैश से काफी दबाव झेल रही है। NVIDIA ने HBM क्षमता को बढ़ाने के बजाय NVFP4 प्रिसिज़न जैसे तकनीकों का उपयोग करके डेटा फुटप्रिंट को छोटा किया और वेट्स को NVL72 डोमेन में वितरित किया। कंपनी निष्क्रिय संदर्भ को कम लागत वाले स्टोरेज टियर्स पर ऑफलोड करने और सक्रिय डेटा को तेज़ मेमोरी में रखने के लिए NVIDIA Dynamo सॉफ़्टवेयर भी उपयोग करती है। यह पदानुक्रमित दृष्टिकोण सुनिश्चित करता है कि महंगा HBM महत्वपूर्ण कंप्यूटेशन के लिए सुरक्षित रहे, जिससे दक्षता में उल्लेखनीय सुधार होता है। इसके परिणामस्वरूप, Vera Rubin जैसे नए प्लेटफ़ॉर्म पिछली पीढ़ियों की तुलना में प्रति डॉलर एजेंटिक थ्रूपुट में 30 गुना तक की वृद्धि दिखाते हैं, भले ही HBM क्षमता में केवल मामूली सुधार हुआ हो। इस रणनीति से AI फैक्ट्रीज़ पावर बजट के भीतर अधिक उपयोगी टोकन प्रदान कर सकती हैं और लागत को कम कर सकती हैं।
nvidia