आपका एजेंट ने कार्य पूरा किया। क्या वह इसे फिर से करेगा?
huggingface ·
IBM के शोधकर्ताओं ने एआई एजेंट्स में एक महत्वपूर्ण विश्वसनीयता समस्या को उजागर किया है, जहाँ औसत सटीकता उच्च होने के बावजूद बार-बार चलाने पर महत्वपूर्ण असंगति दिखाई देती है। उन्होंने 'कांसिस्टेंसी एनालाइजर' (Consistency Analyzer) नामक एक डिग्नोस्टिक टूल पेश किया है जो भूमि सत्य (ground truth) या पूर्ण रीप्ले की आवश्यकता के बिना एजेंट ट्रैजेक्टरी को रिसैंपल करके अस्थिर निर्णय बिंदुओं की पहचान करता है। यह विश्लेषण ALTK-Evolve में इन 'फ्लैट' प्रायिकता वितरणों को स्थिर करने के लिए कांसिस्टेंसी गाइडलाइन उत्पन्न करने में मदद करता है। AppWorld पर GPT-4.1 का उपयोग करके किए गए मूल्यांकन में, इस दृष्टिकोण ने कांसिस्टेंसी गैप को 24.4 प्रतिशत अंकों से घटाकर 12.0 अंक कर दिया। विधि ने माध्य सटीकता को बनाए रखते हुए या थोड़ा बढ़ाते हुए Pass^5 दरों में काफी सुधार किया। ये गाइडलाइन सामान्यीकरण योग्य पाई गईं और समान कार्यों और gpt-oss-120b जैसे कमजोर मॉडलों पर प्रभावी रूप से लागू हुईं। लेखक मिशन-क्रिटिकल अनुप्रयोगों के लिए एजेंट विश्वसनीयता का बेहतर आकलन करने के लिए डेवलपर्स से Pass^k को Mean@k के साथ रिपोर्ट करने का आह्वान करते हैं।
huggingface