Entscheidungsmodelle mit Amazon Bedrock AgentCore-Evaluations verwenden
aws ·
Dieser Artikel erläutert, wie Entscheidungsmodelle in Amazon Bedrock AgentCore Evaluations durch benutzerdefinierte, codebasierte Evaluatoren integriert werden können. Entscheidungsmodelle liefern kalibrierte Wahrscheinlichkeiten für Fragen mit festen Antwortoptionen und bieten damit eine zuverlässige Alternative zu freien LLM-Ausgaben für eng begrenzte Bewertungsaufgaben. Der Beitrag zeigt die Anbindung zweier spezifischer Backends – Jev und Strands Decider 2B – über Lambda-Funktionen zur Beurteilung von Agentenantworten. Diese Modelle unterstützen Ja/Nein-, Auswahl- und Punktbewertungsfragen und ermöglichen so präzise Schwellenwertsetzungen sowie die Aggregation der Ergebnisse. Die Autoren empfehlen den Einsatz von Entscheidungsmodellen als Screening-Ebene, die Gesprächsabschnitte kennzeichnet, die einer tiefergehenden Untersuchung durch integrierte LLM-as-a-Judge-Evaluatoren bedürfen. Es wird ein Validierungsprozess skizziert, um sicherzustellen, dass diese neuen Messwerte vor der Bereitstellung mit menschlichen Referenzlabels übereinstimmen. Dieser Ansatz ermöglicht es Entwicklern, breite Bewertungsfähigkeiten beizubehalten und gleichzeitig effiziente, deterministische Prüfungen für die Einhaltung bestimmter Richtlinien oder Fakten hinzuzufügen.
aws