在 Amazon Bedrock AgentCore 评估中使用决策模型 | AI Archive

在 Amazon Bedrock AgentCore 评估中使用决策模型

aws · 2026-11-04T18:46:36+00:00

本文介绍了如何使用基于自定义代码的评估器，将决策模型集成到 Amazon Bedrock AgentCore 评估中。决策模型为固定选项问题提供校准后的概率，为狭窄的评估任务提供了一种比自由格式 LLM 输出更可靠的替代方案。文章展示了如何通过 Lambda 函数连接 Jev 和 Strands Decider 2B 两个特定后端，以评估代理响应。这些模型支持是/否、选择和评分等题型，从而实现精确的阈值设定和结果聚合。作者建议将决策模型用作筛选层，标记出需要由内置“LLM-as-a-judge”评估器进行更深入调查的对话轮次。文章概述了验证流程，以确保在部署前这些新指标与人类参考标签保持一致。这种方法使开发人员能够在保持广泛评估能力的同时，针对特定的政策或事实合规性添加高效、确定性的检查。