Optimisation des coûts et de la latence avec la mise en cache des invites Amazon Bedrock
aws ·
La fonctionnalité de mise en cache des invites d'Amazon Bedrock réduit considérablement la latence et les coûts liés aux jetons d'entrée en stockant des instantanés des entrées partiellement traitées pour une réutilisation. Lorsque les utilisateurs envoient à plusieurs reprises le même contexte, tel que des invites système ou de longs documents, aux modèles de base, cette solution au niveau de l'infrastructure peut réduire les coûts jusqu'à 90 % lors des accès au cache. Le mécanisme fonctionne en plaçant un marqueur « cachePoint » dans les requêtes ; si les requêtes suivantes correspondent au préfixe mis en cache, le modèle saute les calculs redondants. Les facteurs opérationnels clés incluent la portée du cache par compte AWS, les seuils minimums de jetons qui varient selon le modèle et les périodes de durée de vie (TTL) configurables. Les structures tarifaires introduisent des catégories spécifiques pour les écritures dans le cache, qui coûtent plus cher que l'entrée standard, et les lectures dans le cache, qui sont fortement réduites. L'article détaille six scénarios pratiques de mise en œuvre utilisant l'API Converse, allant de la mise en cache basique du contenu des messages à l'isolation avancée multi-locataires. Ces exemples démontrent comment les développeurs peuvent optimiser les applications de génération augmentée par récupération (RAG) et les flux de travail agents sans compromettre la qualité des invites. En tirant parti de ces modèles, les organisations peuvent réaliser des économies substantielles tout en maintenant des vitesses d'inférence élevées.
aws