Улучшение TTFT для многошаговых агентных нагрузок с двунаправленной передачей KV в vLLM
aws ·
AWS представила в vLLM механизм двунаправленной передачи ключ-значения (KV) кэша для оптимизации многоэтапных агентных рабочих нагрузок. Эта функция решает проблемы неэффективности в обслуживании с разделенными этапами префилла и декодирования, позволяя узлам декодирования возвращать ранее вычисленные блоки KV узлам префилла для последующих реплик разговора. За счет повторного использования этого контекста система избегает избыточных вычислений растущей истории разговоров, что значительно сокращает время до первого токена (TTFT). Бенчмарки на инстансах Amazon EC2 P5en с использованием AWS Elastic Fabric Adapter показали снижение TTFT до 1,6 раза для Qwen3-32B и до 3,3 раза для zai-org/GLM-5-FP8 при длинных промптах. Реализация использует маршрутизатор, aware кеша KV, для управления метаданными и настраиваемые пороги для принятия решений о сохранении блоков и пересчете. Изначально проверенная на AWS Trainium, эта независимая от акселератора возможность теперь поддерживается в кластерах GPU благодаря улучшениям в NIXL KV connector. Пользователи могут включить эту функцию в версии vLLM 0.21.0 или более поздней, чтобы поддерживать отзывчивую производительность по мере масштабирования взаимодействий агентов.
aws