Push-basierte KV-Übertragung zur Verbesserung von TTFT und TPOT bei disaggregierter Inferenz in vLLM
aws ·
Forscher von AWS haben einen push-basierten Mechanismus zur Übertragung von Key-Value-Paaren (KV) für vLLM eingeführt, um die Leistung der disaggregierten LLM-Inferenz zu verbessern. Dieser neue Ansatz verbessert die Time-to-First-Token (TTFT) und die Time-per-Output-Token (TPOT), indem die Prefill-Berechnung mit der Blockzuordnung auf der Decode-Seite überlappt wird, wodurch Einrichteschritte aus dem kritischen Pfad entfernt werden. Im Gegensatz zur traditionellen pull-basierten Methode, die nach dem Prefilling eine sequenzielle Koordination erfordert, ermöglicht der Push-Modus es der Decode-Instanz, Zielblöcke im Voraus zu registrieren, während der Produzierende noch berechnet. Benchmarks auf Amazon EC2 P5en-Instanzen unter Verwendung des Qwen3-32B-Modells zeigten bis zu eine dreifache Reduzierung der TTFT und eine Verbesserung der TPOT um 30 Prozent unter hoher Last. Die Implementierung nutzt einen dedizierten Hintergrundthread zur Vorbereitung von NIXL-Deskriptoren und zur Übermittlung der Übertragungen, um zu verhindern, dass latenzkritische Hauptschleifen blockiert werden. Während der Push-Modus bei hohen Anfragezahlen eine überlegene Reaktionsfähigkeit bietet, wählt er die Decode-Instanz früher als der Pull-Modus, was die Flexibilität beim Routing einschränken kann. Nutzer können diese Funktion aktivieren, indem sie sowohl Prefill- als auch Decode-Server konfigurieren, den NixlPushConnector anstelle des Standardconnectors zu verwenden.
aws