अमेज़न सेजमेकर एआई पर मल्टी-टर्न रिनफोर्समेंट लर्निंग: एक हैंड्स-ऑन गाइड
aws ·
यह लेख Amazon SageMaker AI पर एजेंटिक कार्यों के लिए मॉडल को प्रशिक्षित करने के लिए मल्टी-टर्न रीइन्फोर्समेंट लर्निंग (MTRL) लागू करने का एक व्यावहारिक गाइड प्रदान करता है। सपर्वाइज्ड फाइन-ट्यूनिंग से अलग, MTRL व्यक्तिगत प्रॉम्प्ट्स के बजाय बहु-चरण अनुक्रमों के अंतिम परिणाम के आधार पर मॉडल को अनुकूलित करता है। लेखकों ने इसका प्रदर्शन Amazon Bedrock AgentCore पर होस्ट किए गए Wordle गेम वातावरण का उपयोग करके किया, जहां एजेंट एक पॉलिसी मॉडल के साथ इंटरैक्ट करता है और समाप्ति पर एक ही रिवार्ड प्राप्त करता है। अपने प्रयोग में, GPT-OSS-20B मॉडल को प्रशिक्षित करने से सर्विंग सेटिंग्स पर इसकी सॉल्व रेट लगभग $339 के टोकन खर्च पर 61% से बढ़कर 84% हो गई। यह गाइड IAM भूमिका कॉन्फ़िगरेशन, एजेंट डिप्लॉयमेंट, डेटासेट तैयार करना और MLflow के माध्यम से निगरानी सहित पूरी पाइलाइन को विस्तार से बताता है। इसमें महत्वपूर्ण डिज़ाइन सबक भी उजागर किए गए हैं, जैसे कि मध्यवर्ती शेपिंग के बजाय परिणामों को प्राथमिकता देने के लिए रिवार्ड की संरचना और कन्करेंसी समस्याओं का प्रबंधन। अंत में, लेखक गलत वैलिडेशन मेट्रिक्स से बचने के लिए वास्तविक सर्विंग पैरामीटर पर मॉडल का मूल्यांकन करने पर जोर देते हैं।
aws