Évaluer les agents dotés de compétences avec Strands Evals et Amazon Bedrock AgentCore
aws ·
Cet article présente de nouvelles capacités d'évaluation pour les agents IA dotés de compétences, utilisant Strands Evals et Amazon Bedrock AgentCore. Il explique que si les compétences offrent des instructions modulaires et réutilisables pour des tâches spécifiques, elles introduisent également des modes d'échec uniques, tels qu'une sélection incorrecte de la compétence ou un suivi incomplet des instructions. Pour y remédier, les auteurs présentent trois évaluateurs clés : Skill Selection Accuracy (qui vérifie si la compétence choisie était appropriée), Skill Instruction Following (qui évalue dans quelle mesure l'agent a respecté les étapes de la compétence) et Skill Invoked (une vérification déterministe du chargement réussi de la compétence). Le guide montre comment utiliser Strands Evals pour tester les trajectoires enregistrées pendant le développement et les évaluations d'AgentCore pour analyser la télémétrique de production via les traces OpenTelemetry. Les bonnes pratiques soulignent la nécessité de séparer les erreurs de routage des échecs d'exécution et d'intégrer ces vérifications dans les pipelines de déploiement afin d'assurer la fiabilité. En définitive, cet article propose un cadre pour diagnostiquer et corriger le comportement des agents grâce à des preuves détaillées, par compétence, plutôt qu'à la seule qualité globale de la sortie.
aws