在Amazon SageMaker AI上使用多轮强化学习微调搜索代理
aws ·
本文详细介绍了 AWS 研究人员如何利用 Amazon SageMaker AI 的多轮强化学习（MTRL）功能对 Qwen3.6-27B 搜索代理进行微调。与传统监督微调或单轮强化学习不同，MTRL 在整个交互序列上优化模型，使其能够自主习得复杂的检索策略。研究团队为代理配置了词法和向量搜索工具，以 nDCG@10 作为主要奖励信号，并对超出回合限制等失败模式进行惩罚。结果显示，检索质量显著提升，在 BrowseComp-Plus 基准测试中 nDCG@10 最高提升了 23.7%。此外，微调后的代理表现出极高的可靠性，在处理复杂查询时的失败率从近 23% 降至不到 1%。SageMaker AI MTRL 的无服务器特性使得无需管理 GPU 集群即可高效训练，且默认超参数足以带来显著的性能提升。这种方法为企业提供了一种经济高效的方式，利用更小、更快的模型实现接近前沿模型的可靠性。
aws