代理说完成了，但数据库不这么认为。
huggingface ·
微软和Hugging Face发布了ThinkingBox，这是一个旨在评估AI智能体对后端数据库状态实际影响的新基准测试，而非仅关注其生成的文本或工具调用。该研究分析了18种大语言模型在507个有状态业务流程中的表现，每项任务运行20次以衡量一致性与能力。结果显示，尽管Kimi-K3等模型能至少一次解决许多任务，但在后续尝试中往往无法可靠复现；相比之下，Claude Opus 5.5等模型表现出更高的可靠性，在许多任务中连续通过全部20次测试。研究揭示了一个关键差距：智能体看似通过有效的工具使用取得了成功，却留下了错误的最终状态（例如过早关闭工单）。为解决这一问题，作者引入了“每个可靠任务的成本”指标，表明实现持续准确性比仅获得单次正确答案需要付出更高的经济代价。目前，该基准测试已通过OpenEnv开放，允许开发者在与隔离会话的交互中，通过对副作用的可执行检查来测试智能体的可靠性。
huggingface