Optimización de costos y latencia con el almacenamiento en caché de prompts de Amazon Bedrock
aws ·
La función de almacenamiento en caché de prompts de Amazon Bedrock reduce significativamente tanto la latencia como los costos de tokens de entrada mediante el almacenamiento de instantáneas de entradas parcialmente procesadas para su reutilización. Cuando los usuarios envían repetidamente el mismo contexto, como prompts del sistema o documentos extensos, a modelos fundamentales, esta solución a nivel de infraestructura puede reducir los costos hasta un 90 % en coincidencias de caché. El mecanismo funciona colocando un marcador 'cachePoint' en las solicitudes; si las solicitudes posteriores coinciden con el prefijo almacenado en caché, el modelo omite el cálculo redundante. Los factores operativos clave incluyen el alcance de la caché por cuenta de AWS, los umbrales mínimos de tokens que varían según el modelo y los períodos de tiempo de vida configurables. Las estructuras de precios introducen categorías específicas para las escrituras en caché, que cuestan más que la entrada estándar, y las lecturas en caché, que tienen un fuerte descuento. El artículo detalla seis escenarios prácticos de implementación utilizando la API Converse, que van desde el almacenamiento en caché básico del contenido de mensajes hasta el aislamiento avanzado multiinquilino. Estos ejemplos demuestran cómo los desarrolladores pueden optimizar aplicaciones de generación aumentada por recuperación (RAG) y flujos de trabajo agénticos sin comprometer la calidad del prompt. Al aprovechar estos patrones, las organizaciones pueden lograr ahorros sustanciales mientras mantienen velocidades de inferencia de alto rendimiento.
aws