使用 Amazon Bedrock 提示缓存优化成本和延迟
aws ·
Amazon Bedrock 的提示缓存功能通过存储部分处理过的输入快照以供复用，显著降低了延迟和输入 token 成本。当用户反复向基础模型发送相同的上下文（如系统提示或长文档）时，这种基础设施级别的解决方案在缓存命中时可将成本降低高达 90%。该机制通过在请求中放置“cachePoint”标记来工作；如果后续请求与缓存的前缀匹配，模型将跳过冗余计算。关键操作因素包括每个 AWS 账户的缓存范围、因模型而异的最小 token 阈值以及可配置的生命周期（TTL）。定价结构引入了特定的缓存写入类别，其费用高于标准输入，而缓存读取则大幅折扣。文章详细介绍了使用 Converse API 的六种实际实施场景，从基本的消息内容缓存到高级的多租户隔离。这些示例展示了开发人员如何在不牺牲提示质量的情况下优化检索增强生成（RAG）应用和智能体工作流。通过利用这些模式，组织可以在保持高性能推理速度的同时实现显著的成本节约。
aws