Comment le UK AISI et EvalEval rendent les résultats des benchmarks reproductibles
huggingface ·
L'Institut britannique pour la sécurité de l'IA (AISI) collabore avec la Coalition EvalEval afin d'améliorer la reproductibilité des résultats des benchmarks d'IA grâce à une infrastructure partagée. Ce partenariat utilise les Cartes d'évaluation d'EvalEval et le schéma Every Eval Ever pour publier ouvertement des données d'évaluation vérifiées, répondant ainsi au problème courant des formats de rapport incohérents dans le domaine. L'AISI a publié des résultats détaillés issus de cinq grands benchmarks, dont HealthBench et SWE-Bench Pro, couvrant six modèles de pointe tels que Claude Opus 4 et les variantes de GPT-5. Ces publications accompagnent un article de recherche de l'AISI sur l'impact du calcul d'inférence sur les performances d'évaluation des LLM. En fournissant du contexte, des détails de configuration et une transparence au niveau des transcriptions, cette initiative permet aux chercheurs de vérifier les résultats et de comparer plus efficacement les études. La collaboration vise à standardiser la science de l'évaluation, facilitant ainsi l'interprétation des scores dans différentes conditions. Cet effort soutient la méta-recherche plus large en établissant des points de référence fiables pour comprendre les capacités et les risques des modèles.
huggingface