अपनी ही इंफ्रास्ट्रक्चर में GPU की कमी: AI वर्कलोड क्यों कतार में लगते हैं जब क्षमता बेकार बैठी है
ainews ·
यह लेख समझाता है कि एआई वर्कलोड अक्सर कतार में क्यों लगते हैं, भले ही मॉनिटरिंग सिस्टम कम GPU उपयोग दिखाते हैं; यह स्पष्ट करता है कि कंप्यूट सक्रियता के मापदंड उपलब्ध क्षमता का संकेत नहीं देते। Kubernetes डिफ़ॉल्ट रूप से एक्सक्लूसिव आवंटन (exclusive allocation) का उपयोग करता है, जिसका अर्थ है कि एक वर्कलोड द्वारा किसी डिवाइस को पकड़े रखने पर, चाहे वह सिलिकॉन का बहुत कम उपयोग ही कर रहा हो, अन्य सभी वर्कलोड ब्लॉक हो जाते हैं। लेख इस घटना के चार मुख्य कारणों की पहचान करता है: एक्सक्लूसिव डिवाइस होल्डिंग, लोडेड मॉडलों द्वारा VRAM की अवरोधित स्थिति, प्लेसमेंट नियमों की बाधाएं, और CPU या I/O विलंबता जैसे एप्लिकेशन-स्तरीय बॉटलनेक। यह मेमोरी आइसोलेशन, हार्डवेयर आवश्यकताओं और ऑबजर्वेबिलिटी में उनके अलग-अलग ट्रेडऑफ़ को रेखांकित करते हुए तीन GPU शेयरिंग विधियों—टाइम-स्लाइसिंग, मल्टी-इंस्टेंस GPU (MIG), और मल्टी-प्रोसेस सर्विस (MPS)—की तुलना करता है। नई हार्डवेयर खरीदने से पहले यह पहचानने के लिए एक निदान क्रम प्रदान किया गया है कि समस्या आवंटन, मेमोरी, प्लेसमेंट या बाह्य निर्भरताओं से उत्पन्न हुई है या नहीं। लेख Cast AI की रिपोर्ट का उद्धरण देता है, जिसमें औसत फ्लीट-वाइड GPU उपयोग मात्र 5% बताया गया है, जो दर्शाता है कि अधिकांश बेकार दिखती क्षमता वास्तव में मुक्त नहीं, बल्कि आवंटित है। अंत में, यह एक केस स्टडी प्रस्तुत करता है जहां ALLEN Digital ने स्वचालन टूल्स का उपयोग करके समर्पित इंस्टेंस से साझा GPU कॉन्फ़िगरेशन में बदलकर अपने खर्च में 71% की कमी की।
ainews