Améliorer le TTFT pour les charges de travail agentic multi-tours avec transfert bidirectionnel KV dans vLLM
aws ·
AWS a introduit un mécanisme de transfert bidirectionnel du cache clé-valeur (KV) dans vLLM afin d'optimiser les charges de travail agnostiques multi-tours. Cette fonctionnalité répond aux inefficacités du service disagrégé préfixe-décodage en permettant aux nœuds de décodage de renvoyer les blocs KV précédemment calculés aux nœuds de préfixe pour les tours de conversation suivants. En réutilisant ce contexte, le système évite la recomputation redondante des historiques de conversation croissants, ce qui réduit considérablement le temps jusqu'à la première génération de jeton (TTFT). Les tests effectués sur des instances Amazon EC2 P5en utilisant l'adaptateur réseau élastique AWS ont montré des réductions du TTFT allant jusqu'à 1,6x pour Qwen3-32B et 3,3x pour zai-org/GLM-5-FP8 avec des invites longues. L'implémentation repose sur un routeur conscient du cache KV pour gérer les métadonnées et des seuils configurables pour les décisions de rétention des blocs et de recomputation. Initialement validée sur AWS Trainium, cette capacité indépendante de l'accélérateur est désormais prise en charge sur les clusters GPU grâce aux améliorations du connecteur KV NIXL. Les utilisateurs peuvent activer cette fonctionnalité dans la version 0.21.0 ou ultérieure de vLLM pour maintenir des performances réactives à mesure que les interactions des agents s'intensifient.
aws