Kosten und Latenz mit Amazon Bedrock Prompt Caching optimieren
aws ·
Die Prompt-Caching-Funktion von Amazon Bedrock reduziert Latenz und Eingabe-Token-Kosten erheblich, indem Snapshots teilweise verarbeiteter Eingaben zur Wiederverwendung gespeichert werden. Wenn Nutzer denselben Kontext, wie System-Prompts oder lange Dokumente, wiederholt an Foundation-Modelle senden, kann diese Infrastruktur-Lösung die Kosten bei Cache-Treffern um bis zu 90 Prozent senken. Der Mechanismus funktioniert durch das Platzieren eines 'cachePoint'-Markers in Anfragen; wenn nachfolgende Anfragen mit dem zwischengespeicherten Präfix übereinstimmen, überspringt das Modell redundante Berechnungen. Zu den wichtigsten Betriebsfaktoren gehören der Cache-Umfang pro AWS-Konto, modellabhängige Mindest-Token-Schwellenwerte sowie konfigurierbare Verweildauern (TTL). Die Preisstruktur führt spezifische Kategorien für Cache-Schreibvorgänge ein, die teurer sind als Standard-Eingaben, sowie Cache-Lesevorgänge, die stark rabattiert sind. Der Artikel beschreibt sechs praktische Implementierungsszenarien unter Verwendung der Converse API, beginnend mit dem einfachen Cachen von Nachrichteninhalt bis hin zur erweiterten Multi-Tenant-Isolation. Diese Beispiele zeigen, wie Entwickler Retrieval-Augmented-Generation-Anwendungen und agentic Workflows optimieren können, ohne die Prompt-Qualität zu beeinträchtigen. Durch die Nutzung dieser Muster können Organisationen erhebliche Einsparungen erzielen und gleichzeitig hohe Inferenzgeschwindigkeiten aufrechterhalten.
aws