vLLM中基于推送的KV传输以改善 disaggregated 推理的TTFT和TPOT
aws ·
AWS研究人员为vLLM引入了一种基于推送(push-based)的键值(KV)传输机制,以提升分离式大语言模型推理的性能。该方法通过将预填充计算与解码端的块分配重叠,有效消除了关键路径上的设置步骤,从而改善了首Token延迟(TTFT)和每输出Token延迟(TPOT)。与传统拉取(pull-based)方法在预填充后需要顺序协调不同,推送模式允许解码实例在生成器仍在计算时提前注册目标块。在Amazon EC2 P5en实例上使用Qwen3-32B模型进行的基准测试表明,在高负载下,TTFT最高降低了三倍,TPOT提升了30%。该实现利用专用后台线程处理NIXL描述符的准备和传输提交,防止对延迟敏感的主循环停滞。虽然推送模式在高请求率下具有更优的响应能力,但它比拉取模式更早选择解码实例,这可能限制了某些路由灵活性。用户可以通过将预填充和解码服务器配置为使用NixlPushConnector而非标准连接器来启用此功能。
aws