Melhorar o TTFT para cargas de trabalho agênticas multirroda com transferência bidirecional de KV no vLLM
aws ·
A AWS introduziu um mecanismo de transferência bidirecional de cache de valores-chave (KV) no vLLM para otimizar cargas de trabalho agênticas com múltiplas rodadas. Esse recurso aborda ineficiências no serviço de pré-processamento e decodificação desagregados, permitindo que nós de decodificação retornem blocos de KV previamente calculados aos nós de pré-processamento para rodadas subsequentes da conversa. Ao reutilizar esse contexto, o sistema evita a recomputação redundante de históricos de conversa em crescimento, o que reduz significativamente o tempo até o primeiro token (TTFT). Testes de desempenho em instâncias Amazon EC2 P5en usando o AWS Elastic Fabric Adapter demonstraram reduções no TTFT de até 1,6x para Qwen3-32B e 3,3x para zai-org/GLM-5-FP8 em comprimentos longos de prompt. A implementação depende de um roteador consciente do cache KV para gerenciar metadados e limites configuráveis para decisões de retenção de blocos e recomputação. Originalmente validado no AWS Trainium, essa capacidade independente de acelerador agora é suportada em clusters de GPU por meio das melhorias no conector KV NIXL. Os usuários podem ativar esse recurso na versão 0.21.0 ou posterior do vLLM para manter um desempenho responsivo à medida que as interações dos agentes aumentam.
aws