发布 Olmo-core 3:面向大型混合专家模型的可扩展开源训练基础设施
huggingface ·
AllenAI发布了Olmo-core 3,这是一种开源训练基础设施,旨在将混合专家(MoE)模型扩展至万亿参数规模,同时保持计算效率。该框架从完全分片数据并行转向分布式数据并行,使专家常驻GPU,避免重复的权重收集,从而显著提高吞吐量。关键优化包括专家、管道和优化器并行,以及行级专家并行和分组GEMM等技术,以降低路由成本。系统还支持MXFP8低精度格式,基准测试显示其训练吞吐量比BF16提高了约21%。AllenAI通过一个达到高FLOP/s/GPU指标的1.2万亿参数模型展示了该堆栈的能力,并尝试了最高可达2.38万亿参数的配置。此次发布包含一份技术报告,详细说明了实验发现,如平衡路由分数问题和通信重叠问题。这一开放基础设施将成为下一代Olmo模型的基础,旨在为学术研究人员和小型实验室提供易于获取的工具,以推动高级MoE开发。
huggingface