CWE-bench v2: Больше охвата, качества и прозрачности
huggingface ·
Компания Collinear AI выпустила CWE-bench v2, открытый бенчмарк для оценки возможностей передовых ИИ-моделей в области кибербезопасности. Обновление включает новый набор из 100 задач, охватывающих 91 категорию Common Weakness Enumeration (CWE), с целью обеспечения исчерпывающего покрытия классов уязвимостей. Каждая задача требует от агента выявления и устранения слабостей безопасности в реальных репозиториях с открытым исходным кодом без нарушения существующего функционала. Процесс оценки полностью автоматизирован и детерминирован, что гарантирует воспроизводимость результатов любым пользователем без дополнительных затрат. Согласно текущим таблицам лидеров, модель Gemini 4 Argon занимает первое место с показателем успешного прохождения 67,8%, тогда как даже лучшие модели испытывают трудности с длинным хвостом сложных задач. Бенчмарк включает скрытый набор неизученных задач для отслеживания прогресса и предотвращения заучивания ответов. Пользователи могут запускать оценки напрямую через Hugging Face с помощью инструмента Harbor, который поддерживает как тестирование, так и обучение защитных агентов.
huggingface