Artificial Analysis新指数拉大开放与封闭模型间的差距
decoder ·
Artificial Analysis对其智能指数进行了重大调整，显著拉大了开源模型与闭源AI模型之间的性能差距。受此影响，Kimi K3.1 Pro在排名中下滑五位，从第四名跌至第九名，落后于八个闭源模型。更新后的指数将两者差距定为12分，较此前的3分优势大幅扩大。为应对“刷榜”行为（即模型针对已知测试题进行训练），新指数有60%依赖于私有测试集。这一转变表明，之前的排名可能高估了某些模型的能力，Grok 4.7也因此损失了大量分数。不过，研究人员指出，复杂的强化学习基础设施仍是顶级表现者的关键差异化因素。尽管闭源测试能防止作弊，但也阻碍了外部验证，促使Artificial Analysis修订了AA-Omniscience等基准中的缺陷问题。
decoder