vLLM中基于推送的KV传输以改善 disaggregated 推理的TTFT和TPOT | AI Archive

AWS研究人员为vLLM引入了一种基于推送(push-based)的键值(KV)传输机制,以提升分离式大语言模型推理的性能。该方法通过将预填充计算与解码端的块分配重叠,有效消除了关键路径上的设置步骤,从而改善了首Token延迟(TTFT)和每输出Token延迟(TPOT)。与传统拉取(pull-based)方法在预填充后需要顺序协调不同,推送模式允许解码实例在生成器仍在计算时提前注册目标块。在Amazon EC2 P5en实例上使用Qw

AI Archive ·

Terminal content

Latest news

News articles

Repository of the day

php/php-src · ⭐ 41,023

The PHP Interpreter

Source: GitHub Trending