发布 Olmo-core 3:面向大型混合专家模型的可扩展开源训练基础设施 | AI Archive

AllenAI发布了Olmo-core 3,这是一种开源训练基础设施,旨在将混合专家(MoE)模型扩展至万亿参数规模,同时保持计算效率。该框架从完全分片数据并行转向分布式数据并行,使专家常驻GPU,避免重复的权重收集,从而显著提高吞吐量。关键优化包括专家、管道和优化器并行,以及行级专家并行和分组GEMM等技术,以降低路由成本。系统还支持MXFP8低精度格式,基准测试显示其训练吞吐量比BF16提高了约21%。AllenAI通过一个达到高F

AI Archive

Terminal content

Latest news

News articles

Repository of the day

anthropics/claude-plugins-official · ⭐ 41,658

Official, Anthropic-managed directory of high quality Claude Code Plugins.

Source: GitHub Trending