Transferência de KV baseada em push para melhorar TTFT e TPOT na inferência desagregada do vLLM
aws ·
Pesquisadores da AWS introduziram um mecanismo de transferência de Chave-Valor (KV) baseado em push para o vLLM, visando melhorar o desempenho da inferência de LLMs disagregados. Essa nova abordagem aprimora o Tempo até o Primeiro Token (TTFT) e o Tempo por Token de Saída (TPOT), sobrepondo a computação do prefill à alocação de blocos no lado do decode, eliminando efetivamente etapas de configuração do caminho crítico. Diferentemente do método tradicional baseado em pull, que exige coordenação sequencial após o prefilling, o modo push permite que a instância de decode registre os blocos-alvo antecipadamente enquanto o produtor ainda está computando. Testes de benchmark em instâncias Amazon EC2 P5en, utilizando o modelo Qwen3-32B, demonstraram uma redução de até três vezes no TTFT e uma melhoria de 30% no TPOT sob alta carga. A implementação utiliza uma thread dedicada em segundo plano para lidar com a preparação dos descritores NIXL e o envio das transferências, impedindo que loops principais críticos para a latência sejam interrompidos. Embora o modo push ofereça maior responsividade em altas taxas de solicitação, ele seleciona a instância de decode mais cedo do que o modo pull, o que pode limitar alguma flexibilidade de roteamento. Os usuários podem ativar esse recurso configurando tanto os servidores de prefill quanto os de decode para usar o NixlPushConnector em vez do conector padrão.
aws