Amazon SageMaker HyperPod पर SkyRL के साथ मल्टीमोडल RL ट्रेनिंग को तेज करें
aws ·
यह लेख Amazon SageMaker HyperPod पर SkyRL का उपयोग करके बहुआयामी प्रबलता सीखने (multimodal reinforcement learning) के प्रशिक्षण को कैसे तेज़ किया जाए, इसका प्रदर्शन करता है। लेखक पाठकों को Qwen3-VL-8B विज़न-लैंग्वेज मॉडल को ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) का उपयोग करके दृश्य भूलभुलैयाओं (visual mazes) में नेविगेट करने के लिए प्रशिक्षित करने की एक कार्यप्रवाह से मार्गदर्शन करते हैं। हाइपरपॉड की क्लस्टर रिज़िलिएंसी और चेकपॉइंटिंग का लाभ उठाकर, सिस्टम सुनिश्चित करता है कि लंबे समय तक चलने वाले जॉब हार्डवेयर विफलताओं से बिना प्रगति खोए पुनर्स्थापित हो सकें। समाधान एक रे (Ray) क्लस्टर टोपोलॉजी का उपयोग करता है जहाँ इनफरेंस और प्रशिक्षण साझा GPU पर सहस्थित होते हैं ताकि दक्षता को अधिकतम किया जा सके। प्रशिक्षण एक सुपरवाइज्ड फाइन-ट्यूनिंग चेकपॉइंट से शुरू होता है, जिससे भूलभुलैया हल करने की दर 43.75% से बढ़कर 95% से अधिक हो जाती है। निगरानी अमेज़न मैनेज्ड ग्राफाना डैशबोर्ड और स्टेजमेकर स्टूडियो में रे डैशबोर्ड के माध्यम से सुविधाजनक बनाई गई है। अंत में, प्रशिक्षित LoRA एडाप्टर्स को अमेज़न S3 से गतिशील लोडिंग के साथ रे सर्व (Ray Serve) का उपयोग करके इनफरेंस के लिए होस्ट किया जाता है।
aws