英国AI安全研究所与EvalEval如何使基准测试结果可复现
huggingface ·
英国人工智能安全研究所(AISI)正与 EvalEval 联盟合作,通过共享基础设施提升 AI 基准测试结果的可复现性。该合作伙伴关系利用 EvalEval 的“评估卡片”和 Every Eval Ever 模式,公开发布经过验证的评估数据,以解决该领域常见的报告格式不一致问题。AISI 已发布了涵盖 Claude Opus 4 和 GPT-5 变体等六种前沿模型的五大主要基准测试的详细发现,包括 HealthBench 和 SWE-Bench Pro。这些发布内容伴随着 AISI 关于推理计算量如何影响大语言模型评估性能的研究论文。通过提供背景信息、配置细节以及转录级别的透明度,该倡议使研究人员能够更有效地验证结果并比较研究。此次合作旨在标准化评估科学,使在不同条件下解读分数变得更加容易。这一努力通过建立理解模型能力和风险的可靠参考点,支持更广泛的元研究。
huggingface