GPU क्लस्टर के लिए प्रभावशाली शेड्यूलिंग
huggingface ·
AI के लिए एलन इंस्टीट्यूट (Ai2) ने संसाधनों की कमी और 'सक्वैटिंग' व प्राथमिकता बढ़ावा जैसे अक्षमताओं को दूर करने के लिए अपनी प्राथमिकता-आधारित GPU शेड्यूलर को बजेट-चालित प्रणाली से बदल दिया। उच्च स्तरीय निष्पक्ष-शेयर बजेटों के माध्यम से GPU समय आवंटित करके, इंस्टीट्यूट ने निर्णय लेने की प्रक्रिया को संचालनात्मक वार्ता से पारदर्शी प्रशासनिक योजना में स्थानांतरित कर दिया। नई शेड्यूलर में एक 'शेड्यूलिंग अनुबंध' शामिल है जो कार्यभारों से न्यूनतम रनटाइम की घोषणा करने की आवश्यकता रखता है, जिससे प्रगति सुरक्षित होने के बाद स्वचालित रूप से प्रीएम्प्शन और पुनः कतारबद्ध किया जा सकता है। सिमुलेशन ने कतार विलंबता में महत्वपूर्ण सुधार की भविष्यवाणी की, जिसे उत्पादन रोलआउट के दौरान सत्यापित किया गया, जहाँ डीबग कार्यभारों की प्रतीक्षा समय घंटों से घटकर सेकंड हो गई। संचालनात्मक मेट्रिक्स ने दिखाया कि टीमों को अपने आवंटित GPU घंटों का 98% प्राप्त हुआ, जबकि क्लस्टर ऑक्यूपेंसी 98% बनाए रही। इसके अलावा, प्रीएम्प्टेड जॉब्स के स्वचालित हैंडलिंग से मानवीय हस्तक्षेप वाले रखरखाव कार्यों में 74% की कमी आई। इन सफलताओं के बावजूद, टीम ने इंटरैक्टिव सत्र स्टेट संरक्षण और बड़े कार्यभारों के लिए क्षमता विखंडन संबंधी चुनौतियों की पहचान की। भविष्य की प्रयासों का ध्यान उपयोगिता को अनुकूलित करने और समर्पित CPU क्लस्टर के माध्यम से डेवलपर सत्रों का समर्थन करने पर केंद्रित होगा।
huggingface