SageMaker ट्रेनिंग जॉब्स के लिए AWS बैच के क्वोटा मैनेजमेंट के साथ टीमों के बीच संसाधन उधार दें और लें
aws ·
AWS ने Amazon SageMaker Training jobs के लिए AWS Batch में क्वाटा प्रबंधन पेश किया है, जिससे संगठनों को कई टीमों के बीच साझा GPU क्षमता का बेहतर समन्वय करने में मदद मिलती है। यह नया शेड्यूलिंग क्षमता प्रशासकों को विशिष्ट टीमों या परियोजनाओं के लिए क्वाटा शेयर परिभाषित करने की अनुमति देती है, जिसमें लेंडिंग (उधार देना), बॉरोइंग (उधार लेना) या आइडल कंप्यूट संसाधनों को रिजर्व करने जैसे रणनीतियों का उपयोग शामिल है। सिस्टम स्वचालित रूप से क्रॉस-शेयर प्रीएम्प्शन को संभालता है ताकि जब उधार देने वाली टीम को अपने संसाधनों की वापसी की आवश्यकता हो तो उधार दी गई क्षमता को वापस लिया जा सके, सुनिश्चित करते हुए कि प्राथमिकता वाले वर्कलोड में देरी न हो। इसके अलावा, इन-शेयर प्रीएम्प्शन की सुविधा से एक ही क्वाटा शेयर के भीतर उच्च प्राथमिकता वाले जॉब्स निम्न प्राथमिकता वाले चल रहे जॉब्स को बाधित कर सकते हैं यदि आवश्यकता हो। प्रशासक SageMaker Python SDK का उपयोग करके these सेटिंग्स कॉन्फ़िगर कर सकते हैं, जिसमें अब प्रोग्रामेटिक जॉब सबमिशन के लिए एक aws_batch मॉड्यूल शामिल है। लेख दिखाता है कि LEND_AND_BORROW बनाम RESERVE जैसे विभिन्न कॉन्फ़िगरेशन कैसे भिन्न वर्कलोड प्राथमिकताओं और इंटरप्टन सहने की क्षमताओं की पूर्ति करते हैं। संसाधन आवंटन और प्राथमिकताकरण को स्वचालित करके, इस फीचर से कंप्यूट उपयोग बढ़ता है और इंफ्रास्ट्रक्चर प्रशासकों के लिए ऑपरेशनल ओवरहेड कम होता है।
aws