你的代理完成了任务。它会再次完成吗?
huggingface ·
IBM研究人员指出,AI代理存在一个关键的可靠性问题:高平均准确率掩盖了多次运行中显著的波动性。他们推出了“一致性分析器”(Consistency Analyzer),这是一种诊断工具,能够通过重采样代理轨迹来识别不稳定的决策点,且无需依赖真实标签或完整回放数据。该分析结果被用于ALTK-Evolve以生成一致性准则,从而稳定这些呈“平坦”分布的概率。在AppWorld上使用GPT-4.1进行的评估显示,该方法将一致性差距从24.4个百分点减半至12.0个百分点。此方法显著提高了Pass^5率,同时保持或略微提升了平均准确率。这些准则被证明具有可迁移性,能有效应用于类似任务及gpt-oss-120b等较弱模型。作者呼吁开发者在报告Mean@k的同时也报告Pass^k,以便更好地评估代理在关键任务应用中的可靠性。
huggingface