Otimizando custos e latência com o armazenamento em cache de prompts do Amazon Bedrock
aws ·
O recurso de cache de prompts do Amazon Bedrock reduz significativamente a latência e os custos de tokens de entrada ao armazenar instantâneos de entradas parcialmente processadas para reutilização. Quando os usuários enviam repetidamente o mesmo contexto, como prompts de sistema ou documentos longos, para modelos fundamentais, essa solução em nível de infraestrutura pode reduzir os custos em até 90% nos acertos de cache. O mecanismo funciona inserindo um marcador 'cachePoint' nas solicitações; se as solicitações subsequentes corresponderem ao prefixo em cache, o modelo ignora o cálculo redundante. Os principais fatores operacionais incluem o escopo do cache por conta da AWS, os limites mínimos de tokens que variam conforme o modelo e os períodos configuráveis de tempo de vida (TTL). As estruturas de preços introduzem categorias específicas para gravações em cache, que custam mais do que a entrada padrão, e leituras em cache, que têm descontos substanciais. O artigo detalha seis cenários práticos de implementação usando a API Converse, desde o cache básico de conteúdo de mensagens até o isolamento avançado multiinquilino. Esses exemplos demonstram como os desenvolvedores podem otimizar aplicativos de Geração Aumentada por Recuperação (RAG) e fluxos de trabalho agênticos sem comprometer a qualidade dos prompts. Ao aproveitar esses padrões, as organizações podem obter economias substanciais enquanto mantêm velocidades de inferência de alto desempenho.
aws