Multi-Region-Training mit Amazon SageMaker HyperPod und Qumulo
aws ·
Dieser Artikel stellt eine Lösung für das multi-regionale KI-Training vor, die Amazon SageMaker HyperPod mit Qumulos Cloud Native Qumulo (CNQ) und Cloud Data Fabric (CDF) kombiniert. Diese Architektur ermöglicht es Teams, die Trainings-Compute in einer AWS-Region zu belassen und den Datensatz in einer anderen zu speichern, wodurch kostspielige Datenreplikationen vermieden werden. Die Kerntechnologie NeuralCache nutzt prädiktives Caching, um Datenzugriffsmuster zu lernen und Blöcke aus der Hub-Region im Voraus auf lokalen NVMe-Speicher in Spoke-Clustern zu laden. Validierungstests zeigten, dass Remote-Cluster nach einer anfänglichen Warmup-Phase von 100–150 Batches eine Durchsatzleistung erreichten, die mit lokal angesiedelten Setups vergleichbar war, wobei eine GPU-Auslastung von 98–100 % erreicht wurde. Die Studie demonstrierte dies anhand von LLaMA-v3-Modellen über die Regionen US East (Ohio) und US West (Oregon) bei einer Netzwerklatenz von etwa 60 ms. Obwohl Cold Starts anfangs aufgrund des Cache-Warming zu reduzierter Leistung führen, wird dieser Effekt im großen Maßstab vernachlässigbar und beeinträchtigt weniger als 1 % der Gesamtlaufzeit großer Jobs. Die Autoren bieten einen detaillierten Leitfaden zur Konfiguration von VPC-Peering, zum Bereitstellen von CNQ-Instanzen und zum Ausführen verteilter PyTorch-Trainingsjobs.
aws