Optimierung von Agent-System-Prompts mit Amazon Bedrock AgentCore
aws ·
Amazon Bedrock AgentCore führt eine neue Optimierungsfunktion ein, die die Verbesserung von System-Prompts für Agents durch Produktionsdaten und Belohnungssignale automatisiert. Dieser Workflow ermöglicht es Entwicklern, Konfigurationsänderungen vorzuschlagen, diese zunächst offline in Batch-Tests zu validieren und anschließend online im A/B-Test zu prüfen, bevor sie freigegeben werden. Das System bietet zwei Reflektor-Designs: den Single Agent Reflector, der sich durch hohe Effizienz und Geschwindigkeit auszeichnet, sowie den experimentellen Sub-Agent Reflector, der einen Schwarm von Agents nutzt, um durch unabhängige Analyse der Daten höhere Qualität zu erzielen. Beide Methoden sind durch Schutzmechanismen gesichert, die Prompt-Bloat, Sicherheitsverletzungen und Overfitting auf die Trace-Daten verhindern. Evaluierungsergebnisse auf den Benchmarks AppWorld und WebShop zeigen, dass der Single Agent Reflector das beste Qualitäts-zu-Kosten-Verhältnis bietet, während der Sub-Agent Reflector die höchsten Erfolgsquoten erreicht. AWS empfiehlt, mit kleinen Datensätzen zu beginnen und diverse Feedback-Signale wie freie Textbegründungen einzubinden, um die Reflexion zu verbessern. Diese Tools zielen darauf ab, den manuellen Prozess zur Feinabstimmung von Agent-Komponenten wie Prompts, Tool-Beschreibungen und Fähigkeiten zu vereinfachen.
aws