在Amazon SageMaker AI上使用知识蒸馏构建高效智能体 | AI Archive

在Amazon SageMaker AI上使用知识蒸馏构建高效智能体

aws · 2026-11-02T17:01:31+00:00

本文展示了如何在 Amazon SageMaker AI 上使用序列级知识蒸馏（SeqKD）构建高效的 AI 智能体。作者针对通常需要对大型前沿模型进行多次 API 调用的智能体工作流的高成本问题，提出训练一个较小的“学生”模型来模仿较大的“教师”模型的行为。研究以 GLM-5.3 作为教师模型，Qwen3.5-4B 作为学生模型，为购物助手任务生成了多步轨迹，并使用 ShoppingBench 评分器筛选出成功的轨迹。随后，在 SageMaker AI 上通过无服务器监督微调对学生模型进行微调，同时保留了教师的推理步骤和工具调用。评估结果显示，经过蒸馏的 4B 模型取得了与前沿教师模型相当的成功率，显著优于未经训练的基线模型。这种方法使组织能够通过托管较小的模型来降低推理成本，同时保持高质量的智能体性能。文章最后指出，SeqKD 是一个有效的初步方案，尽管更复杂的任务未来可能需要采用在线强化学习方法。