SemiAnalysis新发布的真实工作基准测试中，没有AI代理得分超过12%
decoder ·
SemiAnalysis发布了GDPx基准测试，该测试在真实的职业软件环境中评估AI智能体完成206项任务的能力，而非简单的知识问答。结果显示，目前没有任何模型表现良好，最高分仅为Claude Opus 5.5取得的12%。Google的Gemini 4 Carbon以10.9%的成绩紧随其后，且成本显著更低，而GPT-6 Astra得分为9.6%。批评人士指出，安全过滤器严重扭曲了这些排名，特别是在网络安全和生物学领域，部分模型得分为零。此外，人们还担忧测试任务的保密性以及各提供商专有智能体软件造成的条件不平等。尽管存在这些批评，SemiAnalysis仍计划定期更新该基准测试，以跟踪现实工作模拟方面的进展。
decoder