使用 Amazon SageMaker HyperPod 和 Qumulo 进行多区域训练
aws ·
本文介绍了一种通过将 Amazon SageMaker HyperPod 与 Qumulo 的云原生 Qumulo (CNQ) 和云数据 fabric (CDF) 结合来实现多区域 AI 训练的方案。该架构允许团队将训练计算资源保留在一个 AWS 区域,同时将数据集存储在另一个区域,从而消除了昂贵数据复制的需求。核心技术 NeuralCache 利用预测性缓存学习数据访问模式,并从中心区域预取数据块到边缘集群上的本地 NVMe 存储。验证测试显示,在经过 100–150 个批次的初始预热后,远程集群实现了与本地部署相当的吞吐量,GPU 利用率达到 98–100%。该研究使用 LLaMA v3 模型在美国东部(俄亥俄)和美国西部(俄勒冈)区域之间进行了演示,网络延迟约为 60 毫秒。尽管冷启动初期由于缓存预热导致性能下降,但随着规模扩大,这种影响变得微乎其微,对大型任务的总运行时间影响不到 1%。作者提供了配置 VPC 对等连接、部署 CNQ 实例以及运行分布式 PyTorch 训练作业的详细指南。
aws