Verbesserung der TTFT für mehrstufige agentic Workloads mit bidirektionalem KV-Transfer in vLLM
aws ·
AWS hat in vLLM einen bidirektionalen Mechanismus zum Übertragen von Schlüssel-Wert- (KV-)Caches eingeführt, um mehrstufige agentic Workloads zu optimieren. Dieses Feature behebt Ineffizienzen im disaggregierten Serving von Prefill und Decode, indem es Decode-Knoten ermöglicht, zuvor berechnete KV-Blöcke an Prefill-Knoten für nachfolgende Gesprächsdurchgänge zurückzusenden. Durch die Wiederverwendung dieses Kontexts vermeidet das System redundante Neuberechnungen wachsender Gesprächsverläufe, was die Time-to-First-Token (TTFT) erheblich reduziert. Benchmarks auf Amazon EC2 P5en-Instanzen unter Verwendung des AWS Elastic Fabric Adapter zeigten TTFT-Reduzierungen von bis zu 1,6x für Qwen3-32B und 3,3x für zai-org/GLM-5-FP8 bei langen Prompt-Längen. Die Implementierung stützt sich auf einen KV-Cache-bewussten Router zur Verwaltung von Metadaten sowie konfigurierbare Schwellenwerte für Entscheidungen über die Blockspeicherung und Neuberechnung. Ursprünglich auf AWS Trainium validiert, ist diese beschleunigerunabhängige Funktion nun über die Enhancements des NIXL-KV-Connectors auch für GPU-Cluster unterstützt. Nutzer können diese Funktion in vLLM Version 0.21.0 oder höher aktivieren, um eine reaktionsschnelle Leistung auch bei skalierenden Agenteninteraktionen aufrechtzuerhalten.
aws