CWE-bench v2 : Plus de couverture, qualité et transparence
huggingface ·
Collinear AI a publié CWE-bench v2, un benchmark public conçu pour tester les capacités de cybersécurité des modèles d'IA de pointe. Cette mise à jour comprend un nouvel ensemble de 100 tâches couvrant 91 catégories différentes du Common Weakness Enumeration (CWE), visant une couverture exhaustive des classes de vulnérabilités. Chaque tâche nécessite qu'un agent identifie et corrige des faiblesses de sécurité dans des dépôts open source réels sans compromettre les fonctionnalités existantes. Le processus d'évaluation est entièrement programmable et déterministe, garantissant que les résultats sont reproductibles par quiconque sans coûts supplémentaires. Les classements actuels montrent que Gemini 4 Argon mène avec un taux de réussite de 67,8 %, tandis que même les meilleurs modèles peinent face à une longue traînée de tâches difficiles. Le benchmark inclut un ensemble de tâches non vues pour suivre les progrès continus et prévenir la mémorisation. Les utilisateurs peuvent exécuter les évaluations directement depuis Hugging Face en utilisant l'outil Harbor, qui prend en charge à la fois le test et l'entraînement d'agents défensifs.
huggingface