एआई एजेंट्स लंबी अवधि के निर्णयों में बुरा स्वाद रखते हैं और एक नया बेंचमार्क इसे साबित करता है
decoder ·
माइक्रोसॉफ्ट और होंग कॉंग सिटी यूनिवर्सिटी के शोधकर्ताओं ने टेस्ट-बेंच (Taste-Bench) का परिचय दिया, जो एक नया बेंचमार्क है जिसका उद्देश्य यह मूल्यांकन करना है कि एआई एजेंट्स जटिल, बहु-चरणीय कार्यों के दौरान दीर्घकालिक निर्णय कितनी अच्छी तरह लेते हैं। मानक बेंचमार्क्स जो केवल अंतिम कार्य पूर्ण होने को मापते हैं, इसके विपरीत, यह टूल किसी एजेंट की 'स्वाद' या रूचि का आकलन उसकी क्षमता के आधार पर करता है कि वह ट्रैजेक्ट्री के भीतर महत्वपूर्ण निर्णय बिंदुओं पर सबसे अधिक वादा करने वाले मार्ग का चयन कैसे करता है। इस अध्ययन में जीपीटी-5.6 सोल और जीपीटी-5.5 सहित 14 प्रमुख मॉडलों का परीक्षण किया गया, जिसमें पाया गया कि सबसे बेहतरीन प्रदर्शन करने वाले मॉडलों ने भी इन द्विआधारी विकल्पों पर 60 प्रतिशत से थोड़ी ही अधिक सटीकता हासिल की। जब एक मार्ग के पक्ष में सबूत केवल व्यापक बाद के काम के बाद सामने आते थे, तो प्रदर्शन काफी गिर गया, जिससे संकेत मिलता है कि वर्तमान मॉडल भविष्य के परिणामों का प्रभावी ढंग से पूर्वानुमान लगाने में संघर्ष करते हैं। तर्क समय या कंप्यूटेशनल बजट बढ़ाने से परिणामों में सुधार नहीं हुआ, जिससे संकेत मिलता है कि आवश्यक संकेत अक्सर तत्काल संदर्भ में अनुपस्थित होते हैं। हालांकि, शोधकर्ताओं ने दिखाया कि शिक्षक मॉडल से छात्र मॉडल में अंतर्दृष्टि को संघनित (distill) करके इस निर्णय क्षमता को प्रशिक्षित किया जा सकता है, जिससे छिड़े हुए कोडिंग कार्यों पर सफलता दर में सुधार हुआ। यह निष्कर्ष वर्तमान एआई क्षमताओं में दीर्घ-अवधि योजना के संबंध में एक महत्वपूर्ण अंतर को उजागर करता है और लक्षित प्रशिक्षण के माध्यम से सुधार का एक मार्ग प्रदान करता है।
decoder