ALTK-Evolve:无需前沿模型,学习记忆如何在客户服务任务中登顶τ²-bench排行榜
huggingface ·
IBM Research推出了ALTK-Evolve,这是一种无需更新模型权重或微调即可使客服代理在τ²-bench排行榜上取得顶级性能的方法。该系统利用GPT-4.1分析代理轨迹,并将行为规则提炼为“学习手册”,直接附加到系统提示中。这种方法显著提高了零售和航空领域在平均准确性和可靠性(以Pass^4分数衡量)方面的表现。在零售领域,该技术使使用GPT-4.1的基础ReAct代理超越了所有前沿模型,甚至优于经过微调的RAFT-30B-A3B系统。在航空任务中,当与更先进的前沿模型GPT-5.5配合使用时,该方法同样登顶排行榜。研究表明,虽然由于提示词变大导致输入令牌成本略有增加,但对话长度实际上有所缩短,从而降低了延迟并加快了解决速度。此外,所学指南的好处也延伸至前沿模型,证明了基于提示的记忆是一种可扩展的解决方案,能够有效提升代理的能力和可靠性。
huggingface