एजेंट ने कहा कि यह पूरा हो गया है। डेटाबेस असहमत था।
huggingface ·
माइक्रोसॉफ्ट और हगिंग फेस ने थिंकिंगबॉक्स (ThinkingBox) जारी किया, जो एक नया बेंचमार्क है। यह एआई एजेंट्स का मूल्यांकन उनकी द्वारा उत्पन्न टेक्स्ट या टूल कॉल्स के बजाय बैकएंड डेटाबेस स्टेट्स पर उनके वास्तविक प्रभाव के आधार पर करता है। अध्ययन में 18 एलएलएम मॉडलों के 507 स्टेटफुल बिज़नेस वर्कफ़्लो का विश्लेषण किया गया, जहाँ प्रत्येक कार्य को स्थिरता और क्षमता को मापने के लिए 20 बार चलाया गया। परिणामों से पता चला कि कुछ मॉडल जैसे किमी-K3 कई कार्यों को कम से कम एक बार हल कर सकते हैं, लेकिन वे अगली कोशिशों में इसे भरोसेमंदी से करने में अक्सर असफल रहते हैं। इसके विपरीत, क्लॉड ओपस 5.5 (Claude Opus 5.5) जैसे मॉडलों ने अधिक निर्भरता दिखाई, क्योंकि उन्होंने कार्यों के एक महत्वपूर्ण हिस्से के लिए सभी 20 परीक्षण पास किए। शोध इस महत्वपूर्ण अंतराल को उजागर करता है, जहाँ एजेंट वैध टूल उपयोग के माध्यम से सफल प्रतीत होते हैं लेकिन गलत अंतिम अवस्थाएं छोड़ देते हैं, जैसे कि टिकटों को समय से पहले बंद करना। इस समस्या को दूर करने के लिए, लेखकों ने प्रति निर्भर कार्य लागत के लिए मेट्रिक्स पेश किए, जिससे पता चलता है कि निरंतर सटीकता प्राप्त करने में केवल एक सही उत्तर मिलाने की तुलना में अधिक वित्तीय मूल्य लगता है। बेंचमार्क अब ओपनएनवी (OpenEnv) के माध्यम से उपलब्ध है, जिससे डेवलपर्स एक्जीक्यूटेबल चेक्स के साथ साइड इफेक्ट्स पर अलग-थलग सत्रों के खिलाफ एजेंट की विश्वसनीयता का परीक्षण कर सकते हैं।
huggingface