NVRx का उपयोग करके Amazon EKS पर त्रुटि सहनशील वितरित प्रशिक्षण
aws ·
यह लेख NVIDIA Resiliency Extension (NVRx) को Amazon EKS के साथ एकीकृत करके बड़े पैमाने पर PyTorch मॉडल्स के लिए त्रुटि-सहिष्णु वितरित प्रशिक्षण कैसे बनाया जाए, इसका प्रदर्शन करता है। यह दो प्रमुख बाधाओं को संबोधित करता है: सिंक्रोनस चेकपॉइंटिंग, जो प्रशिक्षण समय का 40% तक ब्लॉक कर सकती है, और हार्डवेयर या सॉफ़्टवेयर दोषों से धीमी रिकवरी। समाधान TorchAsyncCheckpoint के माध्यम से असिंक्रोनस चेकपॉइंटिंग का उपयोग करता है, जिससे I/O की गणना के साथ ओवरलैप होता है और बेसलाइन की तुलना में 99% से अधिक प्रशिक्षण दक्षता प्राप्त होती है। दोष रिकवरी के लिए, NVRx सॉफ़्ट फ़ॉल्ट्स के लिए इन-प्रोसेस रीस्टार्ट और कठोर क्रैश के लिए ft_launcher प्रदान करता है, जिससे रिकवरी समय मिनटों से सेकंड में कम हो जाता है। 2 से 8 नोड्स पर LLaMA-3.1-8B पर किए गए बेंचमार्क दर्शाते हैं कि ये विधियाँ मानक Kubernetes रीस्टार्ट्स से काफी बेहतर हैं, जिनमें NCCL टाइमआउट कैस्केड की समस्या होती है। आर्किटेक्चर साझा स्टोरेज के लिए Amazon FSx for Lustre और उच्च बैंडविड्थ नेटवर्किंग के लिए Elastic Fabric Adapters का लाभ उठाता है। इस दृष्टिकोण से टीमों को GPU उपयोगिता को त्यागे बिना अधिक बार चेकपॉइंट करने की अनुमति मिलती है, जिससे समग्र क्लस्टर दक्षता अधिकतम होती है।
aws