Передача KV на основе push для улучшения TTFT и TPOT при дисагрегированном выводе в vLLM
aws ·
Исследователи AWS представили механизм передачи ключ-значение (KV) на основе отправки (push-based) для vLLM, направленный на повышение производительности дисагрегированного вывода больших языковых моделей. Этот новый подход улучшает показатели времени до первого токена (TTFT) и времени на выходной токен (TPOT) за счёт перекрытия вычислений этапа префиллинга с выделением блоков на стороне декодирования, что позволяет эффективно исключить шаги настройки из критического пути. В отличие от традиционного метода на основе запросов (pull-based), требующего последовательной координации после префиллинга, режим push позволяет экземпляру декодирования заранее зарегистрировать целевые блоки, пока производитель всё ещё выполняет вычисления. Тесты на инстансах Amazon EC2 P5en с использованием модели Qwen3-32B показали сокращение TTFT до трёх раз и улучшение TPOT на 30 процентов при высокой нагрузке. Реализация использует выделённый фоновый поток для подготовки дескрипторов NIXL и отправки передач, предотвращая простои основных циклов, чувствительных к задержкам. Хотя режим push обеспечивает лучшую отзывчивость при высоких скоростях запросов, он выбирает экземпляр декодирования раньше, чем режим pull, что может ограничивать гибкость маршрутизации. Пользователи могут активировать эту функцию, настроив как серверы префиллинга, так и декодирования на использование NixlPushConnector вместо стандартного коннектора.
aws