Trasferimento KV basato su push per migliorare TTFT e TPOT nell'inferenza disaggregata di vLLM
aws ·
I ricercatori di AWS hanno introdotto un meccanismo di trasferimento Key-Value (KV) basato su push per vLLM, volto a migliorare le prestazioni dell'inferenza disaggregata dei LLM. Questo nuovo approccio ottimizza il Time-to-First-Token (TTFT) e il Time-per-Output-Token (TPOT) sovrapponendo il calcolo del prefill con l'allocazione dei blocchi sul lato decode, eliminando efficacemente i passaggi di configurazione dal percorso critico. A differenza del metodo tradizionale pull-based, che richiede una coordinazione sequenziale dopo il prefilling, la modalità push consente all'istanza decode di registrare i blocchi target in anticipo mentre il produttore è ancora in fase di calcolo. I benchmark eseguiti su istanze Amazon EC2 P5en utilizzando il modello Qwen3-32B hanno dimostrato una riduzione fino a tre volte del TTFT e un miglioramento del 30% del TPOT sotto carico elevato. L'implementazione utilizza un thread di background dedicato per gestire la preparazione dei descrittori NIXL e l'invio del trasferimento, impedendo al blocco delle loop principali critiche per la latenza. Sebbene la modalità push offra una reattività superiore ad alti tassi di richiesta, seleziona l'istanza decode prima della modalità pull, il che potrebbe limitare la flessibilità di routing. Gli utenti possono abilitare questa funzionalità configurando sia i server di prefill che quelli di decode per utilizzare NixlPushConnector anziché il connettore standard.
aws