花哨的编码代理框架只会增加成本，并不会提升性能
decoder ·
山东大学研究人员的一项最新研究对复杂代码代理工具链（harnesses）的有效性提出质疑，发现它们并未提升性能，反而增加了成本。题为《工具链到底带来了什么？主要是Token》的论文指出，在 Claude Code 和 mini-SWE-agent 等主要框架之间切换所产生的结果，与简单重复运行同一设置的结果在统计上并无差异。尽管某些供应商声称取得了显著的分数提升，但这些差异往往处于基准测试的自然噪声范围内。所谓“高级”工具链的主要影响是大幅增加了 Token 消耗，这主要源于冗长的系统提示词和工具描述，而非更好的任务解决能力。研究中仅有一个工具链 OpenCode 显示出可衡量的性能劣势，这在一定程度上归因于输出限制和配置问题。该研究强调，模型选择对结果的影响远大于所使用的具体工具链。因此，作者认为，由于缺乏控制变量和重复试验，当前的排行榜可能具有误导性。他们建议在进行比较时同时发布重复运行的结果，以区分真正的改进与随机波动。
decoder