CWE-bench v2: Mais cobertura, qualidade e transparência
huggingface ·
A Collinear AI lançou o CWE-bench v2, um benchmark público projetado para testar as capacidades de cibersegurança de modelos de IA de ponta. A atualização apresenta um novo conjunto de 100 tarefas que abrangem 91 categorias diferentes do Common Weakness Enumeration (CWE), com o objetivo de oferecer uma cobertura exaustiva das classes de vulnerabilidade. Cada tarefa exige que um agente identifique e corrija falhas de segurança em repositórios open-source reais, sem comprometer a funcionalidade existente. O processo de avaliação é totalmente programático e determinístico, garantindo que os resultados sejam reproduzíveis por qualquer pessoa, sem custos adicionais. Os rankings atuais mostram que o Gemini 4 Argon lidera com uma taxa de aprovação de 67,8%, enquanto até mesmo os melhores modelos têm dificuldades com uma longa cauda de tarefas difíceis. O benchmark inclui um conjunto reservado de tarefas não vistas anteriormente para acompanhar o progresso contínuo e evitar a memorização. Os usuários podem executar avaliações diretamente no Hugging Face usando a ferramenta Harbor, que suporta tanto testes quanto o treinamento de agentes defensivos.
huggingface