Cómo el UK AISI y EvalEval están haciendo que los resultados de los benchmarks sean reproducibles
huggingface ·
El Instituto de Seguridad de IA del Reino Unido (AISI) colabora con la Coalición EvalEval para mejorar la reproducibilidad de los resultados de las pruebas de IA mediante infraestructura compartida. Esta asociación utiliza las Tarjetas de Evaluación de EvalEval y el esquema Every Eval Ever para publicar abiertamente datos de evaluación verificados, abordando el problema común de los formatos de informe inconsistentes en el campo. AISI ha publicado hallazgos detallados de cinco grandes conjuntos de pruebas, incluidos HealthBench y SWE-Bench Pro, que cubren seis modelos de vanguardia como Claude Opus 4 y variantes de GPT-5. Estos lanzamientos acompañan al documento de investigación de AISI sobre cómo el cómputo de inferencia impacta el rendimiento de la evaluación de los LLM. Al proporcionar contexto, detalles de configuración y transparencia a nivel de transcripción, la iniciativa permite a los investigadores verificar los resultados y comparar estudios de manera más efectiva. La colaboración tiene como objetivo estandarizar la ciencia de la evaluación, facilitando la interpretación de las puntuaciones bajo diferentes condiciones. Este esfuerzo apoya la meta-investigación más amplia estableciendo puntos de referencia confiables para comprender las capacidades y riesgos de los modelos.
huggingface