Treinamento multi-região com Amazon SageMaker HyperPod e Qumulo
aws ·
Este artigo apresenta uma solução para treinamento de IA em múltiplas regiões, combinando o Amazon SageMaker HyperPod com o Cloud Native Qumulo (CNQ) e o Cloud Data Fabric (CDF) da Qumulo. Essa arquitetura permite que as equipes mantenham a capacidade computacional de treinamento em uma região da AWS enquanto armazenam o conjunto de dados em outra, eliminando a necessidade de replicação de dados dispendiosa. A tecnologia central, NeuralCache, utiliza cache preditivo para aprender os padrões de acesso aos dados e pré-buscar blocos da região principal para o armazenamento NVMe local nos clusters secundários. Testes de validação demonstraram que, após um período inicial de aquecimento de 100 a 150 lotes, os clusters remotos alcançaram throughput equivalente ao de configurações co-localizadas, atingindo 98% a 100% de utilização da GPU. O estudo foi realizado usando modelos LLaMA v3 nas regiões US East (Ohio) e US West (Oregon), com latência de rede de aproximadamente 60 ms. Embora os inícios a frio apresentem inicialmente desempenho reduzido devido ao aquecimento do cache, esse impacto torna-se insignificante em escala, afetando menos de 1% do tempo total de execução para trabalhos grandes. Os autores fornecem um guia detalhado para configurar o peering de VPC, implantar instâncias CNQ e executar trabalhos de treinamento distribuído com PyTorch.
aws