Transferencia de KV basada en push para mejorar TTFT y TPOT en la inferencia desagregada de vLLM
aws ·
Investigadores de AWS han introducido un mecanismo de transferencia de pares clave-valor (KV) basado en envío para vLLM con el fin de mejorar el rendimiento de la inferencia de modelos de lenguaje grandes (LLM) desacoplados. Este nuevo enfoque mejora el Tiempo hasta el Primer Token (TTFT) y el Tiempo por Token de Salida (TPOT) al superponer el cálculo del prellenado con la asignación de bloques en el lado de decodificación, eliminando efectivamente los pasos de configuración de la ruta crítica. A diferencia del método tradicional basado en recepción, que requiere una coordinación secuencial después del prellenado, el modo de envío permite que la instancia de decodificación registre los bloques objetivo de antemano mientras el productor aún está calculando. Las pruebas de referencia en instancias Amazon EC2 P5en utilizando el modelo Qwen3-32B demostraron una reducción de hasta tres veces en el TTFT y una mejora del 30 % en el TPOT bajo alta carga. La implementación utiliza un hilo de fondo dedicado para manejar la preparación de descriptores NIXL y el envío de transferencias, evitando que se detengan los bucles principales críticos para la latencia. Aunque el modo de envío ofrece una respuesta superior a altas tasas de solicitudes, selecciona la instancia de decodificación antes que el modo de recepción, lo que puede limitar cierta flexibilidad de enrutamiento. Los usuarios pueden habilitar esta función configurando tanto los servidores de prellenado como los de decodificación para usar el NixlPushConnector en lugar del conector estándar.
aws