Apresentando o Olmo-core 3: infraestrutura de treinamento aberta e escalável para grandes MoEs
huggingface ·
A AllenAI lançou o Olmo-core 3, uma infraestrutura de treinamento de código aberto projetada para escalar modelos Mixture-of-Experts (MoE) até a faixa de trilhões de parâmetros, mantendo a eficiência computacional. O framework migrou da paralelização totalmente fragmentada de dados (fully sharded data parallelism) para a paralelização distribuída de dados, mantendo os especialistas residentes nas GPUs para evitar a coleta repetida de pesos e melhorar significativamente a taxa de transferência. As principais otimizações incluem paralelismo de especialistas, pipeline e otimizador, além de técnicas como paralelismo de especialistas por linha e GEMM agrupado para reduzir os custos de roteamento. O sistema também suporta formatos de menor precisão MXFP8, que aumentaram a taxa de transferência de treinamento em aproximadamente 21% nos benchmarks em comparação com o BF16. A AllenAI demonstrou a capacidade da pilha com um modelo de 1,2 trilhão de parâmetros, atingindo altas métricas de FLOP/s/GPU, e experimentou configurações que chegam a 2,38 trilhões de parâmetros. O lançamento inclui um relatório técnico detalhando descobertas experimentais, como problemas com escores de roteamento equilibrado e sobreposições de comunicação. Essa infraestrutura aberta serve como base para a próxima geração de modelos Olmo, visando fornecer pesquisadores acadêmicos e laboratórios menores ferramentas acessíveis para o desenvolvimento avançado de MoE.
huggingface