डेटाबेस ग्रेडिंग को RL रिवार्ड्स में बदलना: थिंकिंगबॉक्स के साथ पोस्ट-ट्रेनिंग एजेंट्स
huggingface ·
माइक्रोसॉफ्ट और हगिंग फेस ने थिंकिंगबॉक्स-ट्रेनिंग (ThinkingBox-Training) जारी किया, एक ऐसा फ्रेमवर्क जो डेटाबेस स्टेट सत्यापन को एआई एजेंट्स के लिए रीइन्फोर्समेंट लर्निंग रिवार्ड्स में बदल देता है। टर्मिनल डेटाबेस अवस्थाओं के निष्पादन योग्य जांचों को बाइनरी रिवार्ड के रूप में उपयोग करके, यह सिस्टम मॉडल्स को प्रशिक्षित करता है ताकि वे केवल टूल कॉल्स की नकल करने के बजाय सही अंतिम परिणाम उत्पन्न करें। लेखकों ने इस विधि का उपयोग ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) का उपयोग करते हुए 50 चरणों में Qwen3.8-27B को फाइन-ट्यून् करने के लिए किया। इस प्रशिक्षण ने मॉडल की विश्वसनीयता में उल्लेखनीय सुधार किया, जिससे सभी बीस प्रयासों पर सफलतापूर्वक पूरी की गई कार्यों का प्रतिशत 7.5% से बढ़कर 21.1% हो गया। औसत सफलता दर में लगभग नौ अंक की वृद्धि हुई, हालांकि कम से कम एक बार हल किए गए कार्यों में मामूली कमी आई, जो अधिक स्थिर प्रदर्शन की ओर संकेत करती है। टीम ने प्रशिक्षण के लिए चुनौतीपूर्ण कार्यों के एक स्थिर पूल में से 187 कार्यों का चयन करने के लिए ऑफलाइन पॉलिसी-रिलेटेड डिफिकल्टी एस्टिमेशन का उपयोग किया, जिसमें बेंचमार्क डेटा को पूरी तरह से बाहर रखा गया। परिणाम दिखाते हैं कि फाइन-ट्यून्ड मॉडल ने अपने बेस संस्करण की तुलना में हर भरोसेमंद कार्य के लिए कम लागत प्राप्त की, जो बड़ी प्रोप्राइटरी मॉडल्स की दक्षता के करीब पहुंच गया।
huggingface