Transfert KV basé sur le push pour améliorer le TTFT et le TPOT dans l'inférence désagrégée de vLLM
aws ·
Des chercheurs d'AWS ont introduit un mécanisme de transfert basé sur le « push » (envoi) des paires clé-valeur (KV) pour vLLM afin d'améliorer les performances de l'inférence LLM désagrégée. Cette nouvelle approche améliore le temps jusqu'à la première génération de token (TTFT) et le temps par token de sortie (TPOT) en chevauchant le calcul du préremplissage avec l'allocation de blocs côté décodage, éliminant ainsi efficacement les étapes d'initialisation du chemin critique. Contrairement à la méthode traditionnelle basée sur le « pull » (récupération), qui nécessite une coordination séquentielle après le préremplissage, le mode push permet à l'instance de décodage d'enregistrer à l'avance les blocs cibles pendant que le producteur effectue encore ses calculs. Les tests effectués sur des instances Amazon EC2 P5en utilisant le modèle Qwen3-32B ont montré une réduction jusqu'à trois fois du TTFT et une amélioration de 30 % du TPFT sous forte charge. L'implémentation utilise un thread dédié en arrière-plan pour préparer les descripteurs NIXL et soumettre les transferts, empêchant les boucles principales critiques en termes de latence de subir des ralentissements. Bien que le mode push offre une réactivité supérieure à des taux de requêtes élevés, il sélectionne l'instance de décodage plus tôt que le mode pull, ce qui peut limiter certaines flexibilités de routage. Les utilisateurs peuvent activer cette fonctionnalité en configurant les serveurs de préremplissage et de décodage pour utiliser le connecteur NixlPushConnector au lieu du connecteur standard.
aws