CWE-bench v2: Más cobertura, calidad y transparencia
huggingface ·
Collinear AI ha lanzado CWE-bench v2, un benchmark público diseñado para evaluar las capacidades de ciberseguridad de los modelos de inteligencia artificial más avanzados. La actualización incluye un nuevo conjunto de 100 tareas que cubren 91 categorías diferentes del Common Weakness Enumeration (CWE), con el objetivo de lograr una cobertura exhaustiva de las clases de vulnerabilidades. Cada tarea requiere que un agente identifique y corrija debilidades de seguridad en repositorios de código abierto reales sin romper la funcionalidad existente. El proceso de evaluación es completamente programático y determinista, lo que garantiza que los resultados sean reproducibles por cualquier persona sin costos adicionales. Los tablas de clasificación actuales muestran que Gemini 4 Argon lidera con una tasa de aprobación del 67,8 %, mientras que incluso los mejores modelos tienen dificultades con una larga cola de tareas difíciles. El benchmark incluye un conjunto retenido de tareas no vistas anteriormente para seguir el progreso continuo y evitar la memorización. Los usuarios pueden ejecutar evaluaciones directamente desde Hugging Face utilizando la herramienta Harbor, que admite tanto pruebas como el entrenamiento de agentes defensivos.
huggingface