Dia da Marmota para agentes de IA: padrões de cache de prompts para usar modelos OpenAI no Amazon Bedrock
aws ·
Este artigo explica como o cache de prompts no Amazon Bedrock resolve a ineficiência dos agentes de IA que reprocessam repetidamente todo o histórico de conversas, um problema comparado ao 'Dia da Marmota'. Ao armazenar as instruções iniciais do sistema e as definições de ferramentas, o serviço permite que solicitações subsequentes reutilizem esse contexto estático com custos significativamente reduzidos. O guia detalha dois métodos principais: o cache implícito, que gerencia automaticamente os históricos de conversas em crescimento, e o cache explícito, que utiliza pontos de interrupção para definir prefixos reutilizáveis para conteúdos compartilhados, como ferramentas e políticas. As melhores práticas incluem manter o prompt inicial estável, usar marcadores explícitos para elementos estáticos enquanto se permite o tratamento implícito para turnos dinâmicos, e aquecer os caches antes de lançar subagentes ou novas sessões. Os testes demonstraram que essas técnicas podem reduzir os custos de entrada em mais de 60% em comparação com abordagens sem cache. Os desenvolvedores são aconselhados a monitorar os acertos e gravações de cache por meio das métricas e campos de uso do CloudWatch para garantir desempenho e economia de custos otimizados.
aws