Presentación de Olmo-core 3: infraestructura de entrenamiento abierta y escalable para grandes MoE
huggingface ·
AllenAI ha lanzado Olmo-core 3, una infraestructura de entrenamiento de código abierto diseñada para escalar modelos de Mezcla de Expertos (MoE) hasta el rango de billones de parámetros mientras mantiene la eficiencia computacional. El marco cambia de la paralelización de datos completamente fragmentada a la paralelización de datos distribuida, manteniendo los expertos residentes en las GPU para evitar la recopilación repetida de pesos y mejorar significativamente el rendimiento. Las optimizaciones clave incluyen paralelismo de expertos, de tubería y del optimizador, junto con técnicas como el paralelismo de expertos por filas y GEMM agrupado para reducir los costos de enrutamiento. El sistema también admite formatos de menor precisión MXFP8, que aumentaron el rendimiento de entrenamiento en aproximadamente un 21 % en las pruebas comparado con BF16. AllenAI demostró la capacidad de la pila con un modelo de 1,2 billones de parámetros que alcanzó altas métricas de FLOP/s/GPU y experimentó con configuraciones que llegan hasta 2,38 billones de parámetros. El lanzamiento incluye un informe técnico que detalla hallazgos experimentales, como problemas con las puntuaciones de enrutamiento equilibrado y las superposiciones de comunicación. Esta infraestructura abierta sirve como base para la próxima generación de modelos Olmo, con el objetivo de proporcionar a investigadores académicos y laboratorios más pequeños herramientas accesibles para el desarrollo avanzado de MoE.
huggingface