Использование моделей принятия решений с оценками Amazon Bedrock AgentCore
aws ·
В этой статье объясняется, как интегрировать модели принятия решений в Amazon Bedrock AgentCore Evaluations с помощью пользовательских оценщиков на основе кода. Модели принятия решений предоставляют калиброванные вероятности для вопросов с фиксированным выбором ответов, предлагая надежную альтернативу свободным выводам больших языковых моделей (LLM) для узких задач оценки. В публикации демонстрируется подключение двух конкретных бэкендов — Jev и Strands Decider 2B — к оценке ответов агентов через Lambda-функции. Эти модели поддерживают типы вопросов «да/нет», выбор ответа и оценку по шкале, что позволяет точно задавать пороги и агрегировать результаты. Авторы рекомендуют использовать модели принятия решений в качестве фильтрующего слоя, который выявляет диалоговые_turns_, требующие более глубокого анализа со стороны встроенных оценщиков типа LLM-as-a-judge. Описан процесс проверки, обеспечивающий соответствие этих новых метрик эталонным человеческим оценкам перед развертыванием. Такой подход позволяет разработчикам сохранять широкие возможности оценки, добавляя при этом эффективные детерминированные проверки для соблюдения конкретных политик или фактической точности.
aws