Migliorare il TTFT per carichi di lavoro agentic multi-turn con trasferimento bidirezionale KV in vLLM
aws ·
AWS ha introdotto in vLLM un meccanismo di trasferimento bidirezionale della cache key-value (KV) per ottimizzare i carichi di lavoro agentic multi-turno. Questa funzionalità affronta le inefficienze del servizio disaggregato prefill-decode consentendo ai nodi decode di restituire i blocchi KV precedentemente calcolati ai nodi prefill per i turni successivi della conversazione. Riutilizzando questo contesto, il sistema evita la ricomputazione ridondante delle cronologie di conversazione in crescita, riducendo significativamente il tempo al primo token (TTFT). I benchmark eseguiti su istanze Amazon EC2 P5en con AWS Elastic Fabric Adapter hanno dimostrato una riduzione del TTFT fino a 1,6 volte per Qwen3-32B e 3,3 volte per zai-org/GLM-5-FP8 con prompt di lunghezza elevata. L'implementazione si basa su un router consapevole della cache KV per gestire i metadati e soglie configurabili per le decisioni relative alla ritenzione dei blocchi e alla ricomputazione. Originariamente validata su AWS Trainium, questa capacità indipendente dall'acceleratore è ora supportata sui cluster GPU tramite i miglioramenti del connettore KV NIXL. Gli utenti possono abilitare questa funzione in vLLM versione 0.21.0 o successive per mantenere prestazioni reattive mentre le interazioni degli agenti scalano.
aws