NVIDIA GPUs कैसे OpenAI के GPT-6 Astra Ultrafast को तेज़ करते हैं
nvidia ·
OpenAI ने GPT-6 Astra Ultrafast जारी किया है, जो एक नया मॉडल मोड है और OpenAI API के माध्यम से तथा योग्य ChatGPT Work और Codex उपयोगकर्ताओं के लिए उपलब्ध है। यह संस्करण NVIDIA Blackwell GPUs पर चलता है और मानक Astra मोड की तुलना में टोकन जनरेशन को आठ गुना तक तेज करता है। इस गति में सुधार NVIDIA Blackwell आर्किटेक्चर की क्षमताओं का लाभ उठाते हुए निरंतर इनफरेंस अनुकूलन के माध्यम से प्राप्त किया गया है। इन गति बढ़ोतरी का उद्देश्य कोडिंग एजेंट्स के एडिट-टेस्ट-डिबग चक्रों को कम करना और इंटरैक्टिव ऐप्स में टूल कॉल्स के बीच विलंबता को कम करना है। OpenAI में इनफरेंस लीड फ़िलिप तिलेट ने बताया कि NVIDIA के टूल्स ने उनके मॉडलों को NVIDIA हार्डवेयर के लिए हाई-परफॉर्मेंस कर्नेल बनाने में सक्षम बनाया। कंप्यूट के लिए OpenAI के चीफ टेक्नोलॉजी ऑफिसर उदय रुद्धाराजू ने नोट किया कि कंपनी ने NVIDIA की प्रोग्रामेबल प्लेटफॉर्म पर इनफरेंस सॉफ्टवेयर को अनुकूलित करने के लिए अपने आंतरिक मॉडलों का उपयोग किया। यह सहयोग डेवलपर्स को डिमांड बदलने के साथ-साथ ट्रेनिंग, इनफरेंस और रीइन्फोर्समेंट लर्निंग के बीच इंफ्रास्ट्रक्चर को पुनः उपयोग करने की अनुमति देता है। डेवलपर्स वर्तमान में API के माध्यम से GPT-6 Astra Ultrafast तक पहुंच सकते हैं, जिसके बारे में अधिक विवरण आधिकारिक गाइड में उपलब्ध हैं।
nvidia