UK AISI और EvalEval बेंचमार्क परिणामों को पुनरुत्पादक कैसे बना रहे हैं
huggingface ·
यूके एआई सिक्योरिटी इंस्टीट्यूट (AISI) एआई बेंचमार्क परिणामों की पुनरुत्पादन क्षमता को बढ़ाने के लिए EvalEval Coalition के साथ सहयोग कर रहा है। यह साझेदारी EvalEval के Evaluation Cards और Every Eval Ever स्कीमा का उपयोग करके सत्यापित मूल्यांकन डेटा को खुले तौर पर प्रकाशित करती है, जिससे क्षेत्र में असंगत रिपोर्टिंग फॉर्मेट की आम समस्या का समाधान होता है। AISI ने HealthBench और SWE-Bench Pro सहित पांच प्रमुख बेंचमार्क्स से विस्तृत निष्कर्ष जारी किए हैं, जिनमें Claude Opus 4 और GPT-5 वेरिएंट्स जैसे छह अग्रणी मॉडल शामिल हैं। ये रिलीज AISI के उस शोध पत्र के साथ आती हैं जो दर्शाता है कि इनफरेंस कंप्यूट LLM मूल्यांकन प्रदर्शन को कैसे प्रभावित करता है। संदर्भ, कॉन्फ़िगरेशन विवरण और ट्रांसक्रिप्ट-स्तर की पारदर्शिता प्रदान करके, यह पहल शोधकर्ताओं को परिणामों की पुष्टि करने और अध्ययनों की तुलना अधिक प्रभावी ढंग से करने की अनुमति देती है। इस सहयोग का उद्देश्य मूल्यांकन विज्ञान को मानकीकृत करना है, जिससे विभिन्न स्थितियों के तहत स्कोरों की व्याख्या करना आसान हो जाता है। यह प्रयास मॉडल क्षमताओं और जोखिमों को समझने के लिए विश्वसनीय संदर्भ बिंदु स्थापित करके व्यापक मेटा-रिसर्च का समर्थन करता है।
huggingface