ALTK-Evolve: सीखी गई मेमोरी कैसे बिना फ्रंटियर मॉडल के कस्टमर सर्विस टास्क में τ²-bench लीडरबोर्ड पर शीर्ष स्थान हासिल करती है
huggingface ·
आईबीएम रिसर्च ने ALTK-Evolve पेश किया है, एक विधि जो मॉडल वजन अपडेट या फाइन-ट्यूनिंग की आवश्यकता के बिना कस्टमर सर्विस एजेंटों को τ²-बेंच लीडरबोर्ड पर शीर्ष प्रदर्शन प्राप्त करने में सक्षम बनाती है। GPT-4.1 का उपयोग करके एजेंट ट्रैजेक्टरी का विश्लेषण करना और व्यवहारिक नियमों को एक सीखे हुए प्लेबुक में संक्षिप्त करना, इस सिस्टम इन दिशानिर्देशों को प्रत्यक्ष रूप से सिस्टम प्रॉम्प्ट में जोड़ता है। यह दृष्टिकोण रिटेल और एयरलाइन डोमेन दोनों में औसत सटीकता और विश्वसनीयता (Pass^4 स्कोर द्वारा मापा गया) में उल्लेखनीय सुधार करता है। रिटेल क्षेत्र में, इस तकनीक ने GPT-4.1 के साथ एक बुनियादी ReAct एजेंट को सभी फ्रंटियर मॉडल्स से आगे निकाल दिया और यहाँ तक कि फाइन-ट्यून्ड RAFT-30B-A3B सिस्टम को भी हरा दिया। एयरलाइन कार्यों के लिए, समान विधि अधिक उन्नत GPT-5.5 मॉडल के साथ लीडरबोर्ड पर शीर्ष स्थान हासिल करती है। अध्ययन दर्शाता है कि हालांकि बड़े प्रॉम्प्ट के कारण इनपुट टोकन लागत में थोड़ी वृद्धि होती है, लेकिन बातचीत की लंबाई वास्तव में कम हो जाती है, जिससे कम लेटेन्सी और तेज़ समाधान समय मिलता है। इसके अतिरिक्त, सीखे गए दिशानिर्देशों के लाभ फ्रंटियर मॉडल्स तक भी फैलते हैं, जो दर्शाते हैं कि प्रॉम्प्ट-लेवल मेमोरी एजेंट क्षमता और विश्वसनीयता को बढ़ाने के लिए एक स्केलेबल समाधान है।
huggingface