Оценка агентов с навыками с помощью Strands Evals и Amazon Bedrock AgentCore
aws ·
В этой статье представлены новые возможности оценки ИИ-агентов с навыками с использованием Strands Evals и Amazon Bedrock AgentCore. Объясняется, что хотя навыки обеспечивают модульные и повторно используемые инструкции для конкретных задач, они создают уникальные режимы сбоев, такие как неправильный выбор навыка или неполное следование инструкциям. Для решения этих проблем авторы предлагают три ключевых оценщика: Skill Selection Accuracy (точность выбора навыка), который проверяет, был ли выбранный навык подходящим; Skill Instruction Following (следование инструкциям навыка), который оценивает, насколько полно агент придерживался шагов навыка; и Skill Invoked (вызов навыка), детерминированная проверка успешной загрузки навыка. В руководстве показано, как использовать Strands Evals для тестирования записанных траекторий в процессе разработки и AgentCore Evaluations для анализа телеметрии производства через трассы OpenTelemetry. Рекомендуемые практики подчеркивают необходимость разделения ошибок маршрутизации от ошибок выполнения и интеграции этих проверок в конвейеры развертывания для обеспечения надежности. В конечном итоге статья предоставляет框架 для диагностики и исправления поведения агентов на основе подробных доказательств по каждому навыку, а не только на основе агрегированного качества вывода.
aws