Hugging Face政策主管称嵌入式AI评估器并非易事
techcrunch ·
Hugging Face首席政策官Irene Solaiman认为,当前的AI模型基准测试方法尚不成熟且不一致,不足以完全信赖。她强调可复现性是一个关键障碍,指出开放权重对于验证评估结果至关重要。目前行业缺乏标准化的方式来比较不同的测试,导致这些测试很快失效。尽管业界对嵌入第三方评估器的兴趣日益浓厚,但关于其公正性和资质的疑虑依然存在,Anthropic近期的争议便是例证。评估重点正从孤立模型转向包括用户工具和智能体能力在内的整体系统。Solaiman指出,测试这些复杂的智能体环境比传统的模型基准测试要困难和昂贵得多。因此,她呼吁采取更加统一的全行业方法,以确保基准测试仍能作为评估AI性能的有效工具。
techcrunch