Entraînement multi-régions avec Amazon SageMaker HyperPod et Qumulo
aws ·
Cet article présente une solution pour l'entraînement d'IA multi-régions associant Amazon SageMaker HyperPod à Cloud Native Qumulo (CNQ) et Cloud Data Fabric (CDF) de Qumulo. Cette architecture permet aux équipes de conserver la puissance de calcul d'entraînement dans une région AWS tout en stockant les jeux de données dans une autre, éliminant ainsi le besoin de réplication de données coûteuse. La technologie centrale, NeuralCache, utilise la mise en cache prédictive pour apprendre les modèles d'accès aux données et précharger des blocs depuis la région principale vers le stockage NVMe local des clusters périphériques. Les tests de validation ont montré qu'après une phase initiale de réchauffement de 100 à 150 lots, les clusters distants ont atteint un débit équivalent à celui des configurations co-localisées, avec une utilisation du GPU de 98 à 100 %. L'étude a démontré cette approche en utilisant des modèles LLaMA v3 entre les régions US East (Ohio) et US West (Oregon), avec une latence réseau d'environ 60 ms. Bien que les démarrages à froid présentent initialement des performances réduites en raison du remplissage du cache, cet impact devient négligeable à grande échelle, affectant moins de 1 % du temps total d'exécution pour les gros travaux. Les auteurs fournissent un guide détaillé pour configurer le peering VPC, déployer des instances CNQ et exécuter des jobs d'entraînement PyTorch distribués.
aws