CWE-bench v2: Mehr Abdeckung, Qualität und Transparenz
huggingface ·
Collinear AI hat CWE-bench v2 veröffentlicht, einen öffentlichen Benchmark zur Überprüfung der Cybersicherheitsfähigkeiten von Frontier-KI-Modellen. Das Update umfasst eine neue Reihe von 100 Aufgaben, die 91 verschiedene Kategorien der Common Weakness Enumeration (CWE) abdecken und auf eine umfassende Abdeckung aller Schwachstellenklassen abzielen. Jede Aufgabe erfordert, dass ein Agent Sicherheitslücken in echten Open-Source-Repositories identifiziert und behebt, ohne dabei bestehende Funktionen zu beeinträchtigen. Der Bewertungsprozess ist vollständig programmatisch und deterministisch, was sicherstellt, dass Ergebnisse von jedermann ohne zusätzliche Kosten reproduzierbar sind. Aktuelle Ranglisten zeigen, dass Gemini 4 Argon mit einer Erfolgsquote von 67,8 % führt, während selbst Top-Modelle Schwierigkeiten mit einer langen Reihe schwieriger Aufgaben haben. Der Benchmark enthält eine zurückgehaltene Menge ungesehener Aufgaben, um den laufenden Fortschritt zu verfolgen und Memorisation zu verhindern. Nutzer können Bewertungen direkt über Hugging Face mit dem Harbor-Tool durchführen, das sowohl das Testen als auch das Training defensiver Agenten unterstützt.
huggingface