宣布使用 SOCI 索引镜像以加速 SageMaker AI 作业
aws ·
AWS宣布为Amazon SageMaker AI训练和处理作业提供可搜索OCI(SOCI)索引功能,以显著缩短容器镜像下载时间。该技术支持懒加载,使SageMaker能够立即获取启动容器所需的必要文件,同时在后台流式传输其余内容。基准测试表明,这种方法可将拉取镜像期间的GPU空闲时间减少高达90%,将启动时间从数分钟缩短至仅几秒。性能提升随镜像大小而扩展,根据压缩镜像的尺寸不同,速度提升幅度在8倍到35倍以上不等。用户可以通过切换到预索引的AWS深度学习容器,或为存储在Amazon ECR私有仓库中的自定义镜像创建SOCI索引来采用此功能。重要的是,这一过渡无需更改作业定义、入口点或数据通道,且如果索引失败,系统会自动回退到标准下载方式。虽然首次迭代后的训练性能不受影响,但由于初始等待时间的最小化,整体作业完成时间得以缩短。
aws