EKS पर Ray Train DLCs और EFA के साथ वितरित प्रशिक्षण
aws ·
यह लेख Amazon EKS पर Ray Train डीप लर्निंग कंटेनर्स (DLCs) और इलास्टिक फेब्रिक एडाप्टर (EFA) का उपयोग करके वितरित PyTorch प्रशिक्षण करने की एक विधि का विवरण देता है। लेखक बताते हैं कि प्रशिक्षण को स्केल करने में प्राथमिक बाधा आमतौर पर मॉडल कोड नहीं, बल्कि जटिल कंटेनर निर्भरताओं का प्रबंधन होती है। इस समस्या के समाधान के लिए, AWS ने आवश्यक घटकों जैसे CUDA, NCCL और EFA लाइब्रेरीज़ को शामिल किए हुए पूर्व-निर्मित DLCs प्रदान किए हैं, जिससे कस्टम इमेज बनाने की आवश्यकता समाप्त हो जाती है। यह समाधान Kubernetes के भीतर Ray क्लस्टर संरचना को प्रबंधित करने के लिए KubeRay का उपयोग करता है, जो एक ही मैनिफेस्ट के माध्यम से हेड और वर्कर पॉड्स को परिभाषित करता है। एक नमूना कार्यान्वयन Fully Sharded Data Parallelism का उपयोग करते हुए Qwen2.5-1.5B मॉडल के फाइन-ट्यूनिंग को आठ NVIDIA L4 GPU पर दिखाता है। पर्यावरण चर और संसाधन अनुरोधों को बाह्य रूप से कॉन्फ़िगर करके, उपयोगकर्ता कंटेनर इमेज में कोई बदलाव किए बिना उच्च गति वाले इंटर-नोड संचार के लिए EFA का लाभ उठा सकते हैं। यह दृष्टिकोण बुनियादी ढांचे के रखरखाव से जुड़ी संचालनात्मक ओवरहेड को कम करते हुए पुनरुत्पादक और स्केलेबल प्रशिक्षण सुनिश्चित करता है।
aws