CWE-bench v2：更广泛的覆盖、更高的质量和透明度
huggingface ·
Collinear AI 发布了 CWE-bench v2，这是一个旨在测试前沿人工智能模型网络安全能力的公开基准。此次更新包含一组新的 100 项任务，涵盖 91 个不同的通用弱点枚举（CWE）类别，力求对漏洞类型进行全面覆盖。每项任务要求智能体在不破坏现有功能的前提下，识别并修复真实开源代码库中的安全弱点。评估过程完全程序化且确定性强，确保任何人都能以零额外成本复现结果。当前排行榜显示，Gemini 4 Argon 以 67.8% 的通过率领先，而即使是顶级模型在面对一系列高难度任务时也显得力不从心。该基准包含一组未见的预留任务集，用于跟踪持续进展并防止模型死记硬背。用户可通过 Hugging Face 上的 Harbor 工具直接运行评估，该工具支持测试和训练防御性智能体。
huggingface