Como o UK AISI e a EvalEval estão tornando os resultados dos benchmarks reproduzíveis
huggingface ·
O Instituto de Segurança de IA do Reino Unido (AISI) está colaborando com a Coalizão EvalEval para melhorar a reprodutibilidade dos resultados de benchmarks de IA por meio de infraestrutura compartilhada. Essa parceria utiliza os Evaluation Cards da EvalEval e o esquema Every Eval Ever para publicar abertamente dados de avaliação verificados, abordando o problema comum de formatos de relatório inconsistentes no campo. O AISI divulgou achados detalhados de cinco grandes benchmarks, incluindo HealthBench e SWE-Bench Pro, que cobrem seis modelos de fronteira, como Claude Opus 4 e variantes do GPT-5. Esses lançamentos acompanham o artigo de pesquisa do AISI sobre como o poder computacional de inferência impacta o desempenho da avaliação de LLMs. Ao fornecer contexto, detalhes de configuração e transparência em nível de transcrição, a iniciativa permite que pesquisadores verifiquem os resultados e comparem estudos de forma mais eficaz. A colaboração visa padronizar a ciência da avaliação, facilitando a interpretação das pontuações sob diferentes condições. Esse esforço apoia uma meta-pesquisa mais ampla, estabelecendo pontos de referência confiáveis para compreender as capacidades e os riscos dos modelos.
huggingface