CWE-bench v2: अधिक कवरेज, गुणवत्ता और पारदर्शिता
huggingface ·
Collinear AI ने CWE-bench v2 जारी किया है, जो प्रमुख एआई मॉडलों की साइबर सुरक्षा क्षमताओं का परीक्षण करने के लिए डिज़ाइन किया गया एक सार्वजनिक बेंचमार्क है। इस अपडेट में 91 विभिन्न कॉमन वेकनेस एन्यूमरेशन (CWE) श्रेणियों को कवर करने वाले 100 नए कार्यों का सेट शामिल है, जिसका उद्देश्य दोष वर्गों का व्यापक कवरेज सुनिश्चित करना है। प्रत्येक कार्य में एजेंट से वास्तविक ओपन-सोर्स रिपॉजिटरी में सुरजाति कमजोरियों की पहचान और समाधान करने के लिए कहा जाता है, बिना मौजूदा कार्यक्षमता को बाधित किए। मूल्यांकन प्रक्रिया पूरी तरह से प्रोग्रामेटिक और निर्धारक (deterministic) है, जिससे परिणाम किसी भी अतिरिक्त लागत के बिना पुनरुत्पादित किए जा सकते हैं। वर्तमान लीडरबोर्ड दिखाते हैं कि Gemini 4 Argon 67.8% पास रेट के साथ शीर्ष स्थान पर है, जबकि शीर्ष मॉडल भी कठिन कार्यों की लंबी पंक्ति में संघर्ष कर रहे हैं। बेंचमार्क में निरंतर प्रगति को ट्रैक करने और मेमोराइजेशन को रोकने के लिए देखे गए कार्यों का एक सेट शामिल है। उपयोगकर्ता हार्बर टूल का उपयोग करके Hugging Face से सीधे मूल्यांकन चला सकते हैं, जो डेफेंसिव एजेंट्स के परीक्षण और प्रशिक्षण दोनों का समर्थन करता है।
huggingface