Anthropic的消息线程将长对话的首个令牌生成时间缩短35%
decoder ·
Anthropic 在其 Claude 平台上以公开测试版形式推出了“消息线程”（Message Threads）功能，旨在优化长对话体验。此前，每次 API 请求都需要重新发送完整的对话历史，这在处理冗长交互时效率低下。新系统仅传输自上一条消息以来的变更内容，使得在处理 50 万至 100 万 token 的请求时，首 token 生成时间缩短了 35%。这一改进特别有利于代码智能体、计算机使用智能体以及处理大量文档或图像的工作流。尽管传输效率得到提升，但由于 Claude 在内部仍会读取完整的对话历史，因此总 token 用量保持不变。为确保安全，线程在请求之间会在内存中进行加密，并在无活动五分钟后自动过期。该功能可通过 Claude 平台访问，并支持 AWS、Microsoft Foundry 和 Google Cloud 等主要云提供商。
decoder