Addestramento multi-regione con Amazon SageMaker HyperPod e Qumulo
aws ·
Questo articolo presenta una soluzione per l'addestramento di modelli AI multi-regione, abbinando Amazon SageMaker HyperPod a Cloud Native Qumulo (CNQ) e Cloud Data Fabric (CDF) di Qumulo. Questa architettura consente ai team di mantenere il calcolo di addestramento in una regione AWS mentre memorizzano i dataset in un'altra, eliminando la necessità di una costosa replicazione dei dati. La tecnologia centrale, NeuralCache, utilizza la cache predittiva per apprendere i pattern di accesso ai dati e precaricare i blocchi dalla regione hub verso lo storage NVMe locale sui cluster spoke. I test di validazione hanno dimostrato che, dopo un periodo iniziale di riscaldamento di 100-150 batch, i cluster remoti hanno raggiunto una throughput equivalente alle configurazioni co-localizzate, raggiungendo un'utilizzazione della GPU del 98-100%. Lo studio ha verificato questa funzionalità utilizzando modelli LLaMA v3 nelle regioni US East (Ohio) e US West (Oregon), con una latenza di rete di circa 60 ms. Sebbene gli avvii a freddo mostrino inizialmente prestazioni ridotte a causa del riscaldamento della cache, l'impatto diventa trascurabile su larga scala, interessando meno dell'1% del tempo totale di esecuzione per lavori di grandi dimensioni. Gli autori forniscono una guida dettagliata per la configurazione del peering VPC, il deployment delle istanze CNQ e l'esecuzione di job di addestramento distribuiti PyTorch.
aws