StateBench: लंबे दस्तावेज़ों में राज्य परिवर्तनों को ट्रैक करने के लिए भाषा मॉडल का परीक्षण
huggingface ·
AllenAI ने StateBench पेश किया है, एक नया बेंचमार्क जो डिज़ाइन किया गया है ताकि यह मूल्यांकन किया जा सके कि भाषा मॉडल लंबे दस्तावेजों में स्थिति परिवर्तनों (state changes) को कितनी अच्छी तरह ट्रैक करते हैं। इस बेंचमार्क में कार्यों को चार जटिलता स्तरों में वर्गीकृत किया गया है: r-trivial, aperiodic, soluble और general finite, जो चर असाइनमेंट और निर्भरता के बढ़ते स्तरों से मेल खाते हैं। शोधकर्ताओं ने विभिन्न आर्किटेक्चर, जैसे मानक ट्रांसफ़ॉर्मर्स, गेटेड डेल्टानेट (Gated DeltaNet) और हाइब्रिड मॉडल, साथ ही फ्रंटियर वाणिज्यिक मॉडल जैसे Gemini 3.8 Flash और GPT-6 का परीक्षण किया। जबकि प्रीट्रेन्ड मॉडल इनपुट की लंबाई बढ़ने के साथ कठिन स्टेट-ट्रैकिंग समस्याओं में सामान्य रूप से संघर्ष करते रहे, उसी कार्य पर सीधे प्रशिक्षित मॉडलों में महत्वपूर्ण आर्किटेक्चरल अंतर दिखाई दिए। विशेष रूप से, गेटेड डेल्टानेट और हाइब्रिड मॉडल ने ट्रांसफ़ॉर्मर्स की तुलना में बेहतर सामान्यीकरण क्षमता प्रदर्शित की, जो सबसे कठिन कार्यों पर स्पष्ट रूप से प्रशिक्षित होने के बावजूद असफल रहे। फ्रंटियर मॉडल भी जटिल अनुक्रमों पर सटीकता में तेजी से गिरावट दर्शाते हैं, जिससे संवेदनशीलता की समस्याएं उजागर होती हैं, जहां एकमात्र अपडेट की चूक गलत परिणामों का कारण बनती है। अध्ययन सुझाव देता है कि रिकरेंट और हाइब्रिड आर्किटेक्चर पारंपरिक ट्रांसफ़ॉर्मर डिज़ाइन की तुलना में लंबे-संदर्भ स्टेट ट्रैकिंग के लिए अधिक मजबूत समाधान प्रदान कर सकते हैं। StateBench शोधकर्ताओं को मॉडल की सीमाओं की पहचान करने और भविष्य की आर्किटेक्चर के विकास का मार्गदर्शन करने के लिए एक सूक्ष्म उपकरण प्रदान करने का लक्ष्य रखता है।
huggingface