Mejorar el TTFT para cargas de trabajo agénticas multironda con transferencia bidireccional de KV en vLLM
aws ·
AWS ha introducido un mecanismo de transferencia bidireccional de caché de valores clave (KV) en vLLM para optimizar las cargas de trabajo agénticas multironda. Esta función aborda las ineficiencias en el servicio con prefill y decode desacoplados, permitiendo que los nodos de decode devuelvan bloques KV previamente calculados a los nodos de prefill para rondas posteriores de la conversación. Al reutilizar este contexto, el sistema evita la recomputación redundante de historiales de conversación en crecimiento, lo que reduce significativamente el tiempo hasta el primer token (TTFT). Las pruebas de rendimiento en instancias Amazon EC2 P5en utilizando el Adaptador de Fabrica Elástica de AWS demostraron reducciones del TTFT de hasta 1,6x para Qwen3-32B y 3,3x para zai-org/GLM-5-FP8 en longitudes de prompt largas. La implementación se basa en un enrutador consciente de la caché KV para gestionar metadatos y umbrales configurables para las decisiones de retención de bloques y recomputación. Originalmente validada en AWS Trainium, esta capacidad independiente del acelerador ahora está soportada en clústeres GPU mediante las mejoras del conector KV NIXL. Los usuarios pueden habilitar esta función en la versión 0.21.0 o posterior de vLLM para mantener un rendimiento receptivo a medida que escalan las interacciones de los agentes.
aws