अमेज़न सैगामेकर AI पर मल्टी-टर्न RL के साथ एक खोज एजेंट को फाइन-ट्यून करें
aws ·
यह लेख AWS के शोधकर्ताओं द्वारा Amazon SageMaker AI की मल्टी-टर्न रिनफोर्समेंट लर्निंग (MTRL) क्षमताओं का उपयोग करके Qwen3.6-27B सर्च एजेंट को फाइन-ट्यून करने की प्रक्रिया का विवरण देता है। पारंपरिक सुपरवाइज्ड फाइन-ट्यूनिंग या सिंगल-टर्न RL से भिन्न, MTRL मॉडल को पूरे इंटरैक्शन सीक्वेंस पर अनुकूलित करता है, जिससे यह जटिल रिट्रीवल रणनीतियों को स्वतंत्र रूप से सीख सकता है। टीम ने एजेंट में लेक्सिकल और वेक्टर सर्च टूल्स कॉन्फ़िगर किए, जहाँ nDCG@10 को प्राथमिक रिवार्ड सिग्नल के रूप में और टर्न सीमाओं को पार करने जैसे फेलियर मोड्स को दंडित किया गया। परिणामों ने रिट्रीवल गुणवत्ता में महत्वपूर्ण सुधार दिखाया, जहाँ BrowseComp-Plus बेंचमार्क पर nDCG@10 में 23.7% तक की वृद्धि हुई। इसके अलावा, फाइन-ट्यून किए गए एजेंट ने जटिल क्वेरीज पर अपनी फेलियर दर को लगभग 23% से घटाकर 1% से कम कर दिया। SageMaker AI MTRL की सर्वरलेस प्रकृति ने GPU क्लस्टर को प्रबंधित किए बिना कुशल प्रशिक्षण संभव बनाया, जबकि डिफ़ॉल्ट हाइपरपैरामीटर्स भी काफी प्रदर्शन लाभ के लिए पर्याप्त रहे। यह दृष्टिकोण उद्यमों को छोटे और तेज़ मॉडलों के साथ फ्रंटियर-मॉडल जैसी विश्वसनीयता प्राप्त करने का एक लागत-प्रभावी तरीका प्रदान करता है।
aws