Groundhog Day für KI-Agenten: Prompt-Caching-Muster für die Verwendung von OpenAI-Modellen auf Amazon Bedrock
aws ·
Dieser Artikel erläutert, wie das Prompt-Caching auf Amazon Bedrock die Ineffizienz von KI-Agenten behebt, die ihre gesamten Gesprächsverläufe wiederholt neu verarbeiten – ein Problem, das mit dem Film „Groundhog Day“ verglichen wird. Durch das Speichern der ursprünglichen Systemanweisungen und Tool-Definitionen ermöglicht der Dienst die Wiederverwendung dieses statischen Kontexts für nachfolgende Anfragen zu deutlich geringeren Kosten. Der Leitfaden beschreibt zwei Hauptmethoden: das implizite Caching, das wachsende Gesprächsverläufe automatisch verwaltet, und das explizite Caching, das Breakpoints verwendet, um wiederverwendbare Präfixe für gemeinsame Inhalte wie Tools und Richtlinien zu definieren. Zu den Best Practices gehören die Beibehaltung eines stabilen Initial-Prompts, die Verwendung expliziter Markierungen für statische Elemente bei gleichzeitiger impliziter Handhabung dynamischer Turnus sowie das Vorwärmen des Caches vor dem Start von Subagenten oder neuen Sitzungen. Tests ergaben, dass diese Techniken die Eingabekosten im Vergleich zu nicht zwischengespeicherten Ansätzen um über 60 Prozent senken können. Entwicklern wird geraten, Cache-Hits und -Schreibvorgänge über CloudWatch-Metriken und Nutzungsdaten zu überwachen, um optimale Leistung und Kosteneinsparungen sicherzustellen.
aws