Skalierung von MoE-Verstärkungslernen auf Amazon EKS mit EFA und DeepEP bei 40 % mehr Durchsatz
aws ·
Dieser Artikel beschreibt eine optimierte Architektur zum Skalieren von Reinforcement Learning (RL) mit Mixture-of-Experts (MoE) auf Amazon EKS, die Herausforderungen bei der Koordination heterogener Rechenressourcen und der Kommunikation mit hohem Durchsatz adressiert. Die Lösung kombiniert den Amazon Elastic Kubernetes Service (Amazon EKS), den Elastic Fabric Adapter (EFA) und DeepEP, um die Generierung von Rollouts mit dem Policy-Training in Einklang zu bringen. Eine Schlüsselinnovation ist die Nutzung von DeepEP über EFA, das Standard-All-to-All-Kollektivoperationen durch spezialisierte Kernel ersetzt, um den Kommunikationsaufwand beim Expert-Parallelismus zu reduzieren. Tests mit 48 P5en-Instanzen zeigten eine Steigerung des aggregierten RL-Rollout-Durchsatzes um 40 % im Vergleich zu Basis-Konfigurationen. Die Architektur nutzt zudem Amazon EC2 Spot Instances für die Rollout-Generierung, um die Kosten zu senken, ohne eng gekoppelte Policy-Trainingsworkloads zu stören. Separate Node Groups werden für GPU-beschleunigte Aufgaben, CPU-basierte Umgebungen und speicheroptimierte Experience-Puffer verwendet, um ein unabhängiges Skalieren zu gewährleisten. Dieser Ansatz ermöglicht ein effizientes Co-Design über den gesamten Stack hinweg und balanciert Einschränkungen bei Rechenleistung, Speicher und Bandbreite aus. Das Ergebnis ist ein flexibler, kosteneffektiver Weg für großskalige verteilte RL-Workloads, die Hunderte oder Tausende von Beschleunigern umfassen.
aws