Ejecutar cargas de trabajo de inferencia multinodo usando Ray LLM Deep Learning Containers
aws ·
Este artículo demuestra cómo implementar modelos de lenguaje grandes en múltiples nodos GPU en Amazon EKS utilizando los nuevos Ray LLM Deep Learning Containers. La solución implementa la desagregación de prefill y decode, donde un nodo se encarga del procesamiento de las indicaciones mientras otro genera tokens, evitando así la contención de recursos entre las fases intensivas en cómputo y las limitadas por memoria. AWS proporciona una imagen de contenedor preconstruida que integra vLLM, Ray Serve, NIXL para la transferencia de caché y el stack Elastic Fabric Adapter, eliminando la necesidad de código boilerplate personalizado o gestión manual de dependencias. La arquitectura de implementación utiliza un nodo principal CPU para la orquestación y dos nodos trabajadores GPU asignados a una única Zona de Disponibilidad para garantizar comunicaciones de baja latencia mediante EFA. La configuración se simplifica mediante un constructor de aplicaciones basado en YAML que conecta automáticamente la transferencia del KV-cache detrás de un endpoint compatible con OpenAI. La guía detalla el proceso paso a paso para aprovisionar el clúster EKS, instalar el operador KubeRay y desplegar el RayService con parámetros de modelo específicos. Finalmente, proporciona instrucciones para invocar el endpoint, verificar el uso de EFA y limpiar los recursos para evitar cargos continuos.
aws