Addestramento distribuito con Ray Train DLC ed EFA su EKS
aws ·
Questo articolo descrive un metodo per eseguire il training distribuito di PyTorch su Amazon EKS utilizzando Ray Train Deep Learning Containers (DLC) e Elastic Fabric Adapter (EFA). Gli autori spiegano che il principale collo di bottiglia nello scaling del training è solitamente la gestione delle complesse dipendenze dei container piuttosto che il codice del modello stesso. Per risolvere questo problema, AWS fornisce DLC pre-costruiti che raggruppano componenti necessari come CUDA, NCCL e le librerie EFA, eliminando la necessità di costruire immagini personalizzate. La soluzione utilizza KubeRay per gestire la struttura del cluster Ray all'interno di Kubernetes, definendo i pod head e worker tramite un singolo manifest. Un'implementazione di esempio dimostra il fine-tuning del modello Qwen2.5-1.5B su otto GPU NVIDIA L4 utilizzando Fully Sharded Data Parallelism. Configurando variabili d'ambiente e richieste di risorse esternamente, gli utenti possono sfruttare EFA per comunicazioni inter-nodo ad alta velocità senza modificare l'immagine del container. Questo approccio garantisce un training riproducibile e scalabile, riducendo il carico operativo associato alla manutenzione dell'infrastruttura.
aws