Представляем Amazon SageMaker HyperPod Inference Gateway
aws ·
AWS объявила о выпуске Amazon SageMaker HyperPod Inference Gateway — нативного для Kubernetes дополнения для маршрутизации с учетом GPU, предназначенного для существующих кластеров HyperPod и EKS и не требующего изменений в приложениях или серверах моделей. Его двухуровневая архитектура включает Envoy Gateway, маршрутизатор на основе содержимого запроса для выбора модели и Endpoint Picker, использующий метрики в реальном времени, такие как загрузка KV-кэша, глубина очереди, наличие адаптеров LoRA, попадания в кэш префиксов и число активных запросов. Gateway можно установить как единое дополнение EKS и настроить декларативно; при этом он предоставляет стандартную конечную точку, совместимую с OpenAI, для существующих клиентов. Он поддерживает маршрутизацию между несколькими моделями и направляет запросы LoRA к подам, в которых уже загружен необходимый адаптер. В ходе тестов AWS по сравнению с циклической маршрутизацией Kubernetes были зафиксированы существенное сокращение хвостовой задержки получения первого токена и рост пропускной способности в сценариях со смешанными GPU, всплесками трафика и общими префиксами; при однородных пулах и стабильном трафике результаты были сопоставимыми. Уровень 1 доступен в регионах, поддерживающих дополнение для инференса, а глобальный маршрутизатор инференса для межкластерной и межрегиональной маршрутизации планируется выпустить позднее.
aws