Utiliser des modèles décisionnels avec les évaluations d'Amazon Bedrock AgentCore
aws ·
Cet article explique comment intégrer des modèles de décision dans les Évaluations d'Amazon Bedrock AgentCore à l'aide d'évaluateurs personnalisés basés sur du code. Les modèles de décision fournissent des probabilités calibrées pour des questions à choix fixes, offrant une alternative fiable aux sorties libres des LLM pour des tâches d'évaluation ciblées. L'article montre comment connecter deux backends spécifiques, Jev et Strands Decider 2B, afin d'évaluer les réponses des agents via des fonctions Lambda. Ces modèles prennent en charge les types de questions oui/non, choix et score, permettant un seuillage précis et une agrégation des résultats. Les auteurs recommandent d'utiliser les modèles de décision comme une couche de filtrage qui signale les échanges nécessitant une investigation plus approfondie par les évaluateurs intégrés de type « juge LLM ». Un processus de validation est décrit pour garantir que ces nouvelles mesures sont cohérentes avec les étiquettes de référence humaines avant le déploiement. Cette approche permet aux développeurs de conserver leurs capacités d'évaluation larges tout en ajoutant des vérifications efficaces et déterministes pour l'adhésion à des politiques ou faits spécifiques.
aws