Eseguire carichi di lavoro di inferenza multi-nodo con i contenitori deep learning Ray LLM
aws ·
Questo articolo illustra come distribuire modelli linguistici di grandi dimensioni su più nodi GPU su Amazon EKS utilizzando i nuovi Ray LLM Deep Learning Containers. La soluzione implementa la disaggregazione tra prefill e decode, dove un nodo gestisce l'elaborazione dei prompt mentre un altro genera i token, prevenendo così il contention delle risorse tra le fasi ad alta intensità computazionale e quelle vincolate alla memoria. AWS fornisce un'immagine container pre-costruita che integra vLLM, Ray Serve, NIXL per il trasferimento della cache e lo stack Elastic Fabric Adapter, eliminando la necessità di codice boilerplate personalizzato o di una gestione manuale delle dipendenze. L'architettura di distribuzione utilizza un nodo head CPU per l'orchestrazione e due nodi worker GPU vincolati a una singola Availability Zone per garantire comunicazioni a bassa latenza tramite EFA. La configurazione è semplificata da un builder di applicazioni basato su YAML che collega automaticamente il trasferimento della KV-cache dietro un endpoint compatibile con OpenAI. La guida descrive il processo passo dopo passo per il provisioning del cluster EKS, l'installazione dell'operatore KubeRay e la distribuzione del RayService con parametri specifici del modello. Infine, vengono forniti istruzioni per invocare l'endpoint, verificare l'utilizzo di EFA e pulire le risorse per evitare costi continuativi.
aws