Verteiltes Training mit Ray Train DLCs und EFA auf EKS
aws ·
Dieser Artikel beschreibt eine Methode zur verteilten PyTorch-Training auf Amazon EKS unter Verwendung von Ray Train Deep Learning Containers (DLCs) und dem Elastic Fabric Adapter (EFA). Die Autoren erläutern, dass der Hauptengpass beim Skalieren des Trainings typischerweise in der Verwaltung komplexer Container-Abhängigkeiten liegt und nicht im Modellcode selbst. Um dies zu lösen, bietet AWS vorgefertigte DLCs an, die notwendige Komponenten wie CUDA-, NCCL- und EFA-Bibliotheken bündeln, wodurch der Bedarf an der Erstellung benutzerdefinierter Images entfällt. Die Lösung nutzt KubeRay, um die Struktur des Ray-Clusters innerhalb von Kubernetes zu verwalten, wobei Kopf- und Worker-Pods durch ein einzelnes Manifest definiert werden. Eine Beispielimplementation demonstriert das Fine-Tuning des Qwen2.5-1.5B-Modells über acht NVIDIA L4-GPUs unter Verwendung von Fully Sharded Data Parallelism. Durch die externe Konfiguration von Umgebungsvariablen und Ressourcenanforderungen können Nutzer EFA für hochgeschwindigkeits Inter-Node-Kommunikation nutzen, ohne das Container-Image zu ändern. Dieser Ansatz gewährleistet reproduzierbares, skalierbares Training bei gleichzeitiger Reduzierung des operativen Aufwands im Zusammenhang mit der Infrastrukturwartung.
aws