Exécuter des charges de travail d'inférence multi-nœuds avec les conteneurs d'apprentissage profond Ray LLM
aws ·
Cet article montre comment déployer des modèles de langage volumineux sur plusieurs nœuds GPU dans Amazon EKS à l'aide des nouveaux conteneurs d'apprentissage profond Ray LLM. La solution met en œuvre une désagrégation du préremplissage et du décodage, où un nœud gère le traitement des invites tandis qu'un autre génère les jetons, évitant ainsi la contention des ressources entre les phases gourmandes en calcul et celles limitées par la mémoire. AWS fournit une image de conteneur préconstruite qui intègre vLLM, Ray Serve, NIXL pour le transfert de cache et la pile Elastic Fabric Adapter, éliminant ainsi le besoin de code boilerplate personnalisé ou de gestion manuelle des dépendances. L'architecture de déploiement utilise un nœud tête CPU pour l'orchestration et deux nœuds workers GPU liés à une seule Zone de disponibilité afin de garantir une communication à faible latence via EFA. La configuration est simplifiée grâce à un générateur d'applications basé sur YAML qui relie automatiquement le transfert du cache KV derrière une endpoint compatible OpenAI. Le guide décrit étape par étape le processus de provisionnement du cluster EKS, l'installation de l'opérateur KubeRay et le déploiement du RayService avec des paramètres de modèle spécifiques. Enfin, il fournit des instructions pour invoquer l'endpoint, vérifier l'utilisation de l'EFA et nettoyer les ressources afin d'éviter des frais continus.
aws