Présentation d'Olmo-core 3 : une infrastructure d'entraînement ouverte et évolutive pour les grands MoE
huggingface ·
AllenAI a publié Olmo-core 3, une infrastructure d'entraînement open source conçue pour faire évoluer les modèles à mélange d'experts (MoE) jusqu'à l'échelle du trillion de paramètres tout en maintenant une efficacité computationnelle. Le framework passe de la parallélisation des données entièrement fragmentée à la parallélisation distribuée des données, conservant les experts sur les GPU pour éviter la récupération répétée des poids et améliorant considérablement le débit. Les optimisations clés incluent la parallélisation des experts, du pipeline et de l'optimiseur, ainsi que des techniques telles que la parallélisation des experts par rangée et le GEMM groupé pour réduire les coûts de routage. Le système prend également en charge les formats de précision inférieure MXFP8, qui ont augmenté le débit d'entraînement d'environ 21 % dans les benchmarks par rapport au BF16. AllenAI a démontré la capacité de cette pile avec un modèle de 1,2 trillion de paramètres atteignant des métriques élevées de FLOP/s/GPU et a expérimenté des configurations allant jusqu'à 2,38 billions de paramètres. La publication comprend un rapport technique détaillant les résultats expérimentaux, tels que les problèmes liés aux scores de routage équilibrés et aux chevauchements de communication. Cette infrastructure open source sert de fondement à la prochaine génération de modèles Olmo, visant à fournir aux chercheurs universitaires et aux laboratoires plus petits des outils accessibles pour le développement avancé de MoE.
huggingface