AI代理在长期决策中品味不佳，新基准测试证明了这一点
decoder ·
微软和香港城市大学的研究人员推出了 Taste-Bench，这是一个旨在评估 AI 智能体在复杂多步任务中做出长期决策能力的新基准。与仅衡量最终任务完成情况的传统基准不同，该工具通过分析智能体在轨迹关键决策节点选择最有希望路径的能力来评估其“品味”。研究测试了包括 GPT-5.6 Sol 和 GPT-5.5 在内的 14 款领先模型，结果显示，即使表现最好的模型在这些二元选择上的准确率也仅略高于 60%。当支持某一路径的证据仅在大量后续工作之后才出现时，性能显著下降，表明当前模型难以有效预测未来结果。增加推理时间或计算预算并未改善结果，这表明必要的线索往往缺失于即时上下文中。然而，研究人员证明，通过将教师模型的见解蒸馏到学生模型中，可以训练这种判断能力，从而提高了在保留编码任务上的成功率。这一发现凸显了当前 AI 在长程规划方面的重大能力差距，并为通过针对性训练实现改进提供了途径。
decoder