Запуск многоузловых рабочих нагрузок вывода с использованием контейнеров глубокого обучения Ray LLM
aws ·
В этой статье показано, как развертывать большие языковые модели на нескольких GPU-узлах в Amazon EKS с использованием новых Ray LLM Deep Learning Containers. Решение реализует разделение задач префиллинга и декодирования: один узел обрабатывает промпты, а другой генерирует токены, что предотвращает конкуренцию за ресурсы между вычислительно интенсивной и ограниченной памятью фазами. AWS предоставляет предварительно собранный образ контейнера, включающий vLLM, Ray Serve, NIXL для передачи кэша и стек Elastic Fabric Adapter (EFA), что устраняет необходимость в написании шаблонного кода или ручном управлении зависимостями. Архитектура развертывания использует CPU-узел для оркестрации и два GPU-узла, привязанных к одной зоне доступности, чтобы обеспечить низкую задержку связи через EFA. Конфигурация упрощена благодаря YAML-приложению-билдеру, которое автоматически настраивает передачу KV-кэша через конечную точку, совместимую с OpenAI. В руководстве описан пошаговый процесс создания кластера EKS, установки оператора KubeRay и развертывания RayService с указанием конкретных параметров модели. Наконец, приводятся инструкции по вызову конечной точки, проверке использования EFA и очистке ресурсов во избежание дополнительных расходов.
aws