Executar cargas de trabalho de inferência multi-nó usando Ray LLM Deep Learning Containers
aws ·
Este artigo demonstra como implantar modelos de linguagem grandes em vários nós GPU no Amazon EKS usando os novos Ray LLM Deep Learning Containers. A solução implementa a desagregação entre prefill e decode, onde um nó processa o prompt enquanto outro gera tokens, evitando assim contenção de recursos entre fases intensivas de computação e limitadas por memória. A AWS oferece uma imagem de container pré-construída que inclui vLLM, Ray Serve, NIXL para transferência de cache e o stack Elastic Fabric Adapter, eliminando a necessidade de código boilerplate personalizado ou gerenciamento manual de dependências. A arquitetura de implantação utiliza um nó cabeça CPU para orquestração e dois nós worker GPU fixados em uma única Zona de Disponibilidade para garantir comunicação de baixa latência via EFA. A configuração é simplificada por meio de um construtor de aplicativos baseado em YAML que conecta automaticamente a transferência do KV-cache atrás de um endpoint compatível com OpenAI. O guia detalha o processo passo a passo para provisionar o cluster EKS, instalar o operador KubeRay e implantar o RayService com parâmetros específicos do modelo. Por fim, fornece instruções para invocar o endpoint, verificar o uso do EFA e limpar os recursos para evitar cobranças contínuas.
aws