在vLLM中通过双向KV传输改善多轮智能体工作负载的TTFT
aws ·
AWS在vLLM中引入了双向键值(KV)缓存传输机制,以优化多轮智能体工作负载。该功能解决了预填充-解码分离式服务中的效率问题,允许解码节点将先前计算的KV块返回给预填充节点,用于后续对话轮次。通过复用此上下文,系统避免了不断增长的历史对话记录的冗余重新计算,从而显著降低了首字生成时间(TTFT)。在Amazon EC2 P5en实例上使用AWS弹性 fabric 适配器进行的基准测试显示,在长提示长度下,Qwen3-32B的TTFT最高降低1.6倍,zai-org/GLM-5-FP8最高降低3.3倍。该实现依赖于一个感知KV缓存的路由器来管理元数据,并配置了用于块保留和重新计算决策的可调阈值。该功能最初在AWS Trainium上验证,如今通过NIXL KV连接器增强,已支持GPU集群。用户可在vLLM 0.21.0或更高版本中启用此功能,以在智能体交互扩展时保持响应性能。
aws