CWE-bench v2: Maggiore copertura, qualità e trasparenza
huggingface ·
Collinear AI ha rilasciato CWE-bench v2, un benchmark pubblico progettato per testare le capacità di cybersecurity dei modelli di intelligenza artificiale all'avanguardia. L'aggiornamento include un nuovo insieme di 100 attività che coprono 91 diverse categorie della Common Weakness Enumeration (CWE), con l'obiettivo di una copertura esaustiva delle classi di vulnerabilità. Ogni attività richiede a un agente di identificare e risolvere debolezze di sicurezza in repository open-source reali senza compromettere la funzionalità esistente. Il processo di valutazione è completamente programmatico e deterministico, garantendo che i risultati siano riproducibili da chiunque senza costi aggiuntivi. I leaderboard attuali mostrano che Gemini 4 Argon guida con un tasso di superamento del 67,8%, mentre anche i modelli più avanzati faticano con una coda lunga di attività difficili. Il benchmark include un set di attività non viste per monitorare i progressi continui e prevenire la memorizzazione. Gli utenti possono eseguire le valutazioni direttamente da Hugging Face utilizzando lo strumento Harbor, che supporta sia il testing che l'addestramento di agenti difensivi.
huggingface