Vorstellung von Olmo-core 3: Offene, skalierbare Trainingsinfrastruktur für große MoEs
huggingface ·
AllenAI hat Olmo-core 3 veröffentlicht, eine Open-Source-Trainingsinfrastruktur, die darauf ausgelegt ist, Mixture-of-Experts-(MoE)-Modelle in den Trillionen-Parameterbereich zu skalieren und dabei die Recheneffizienz aufrechtzuerhalten. Das Framework wechselt von vollständig shardierter Datenparallelität zu verteilter Datenparallelität, wodurch Experten auf GPUs resident bleiben, wiederholtes Sammeln von Gewichten vermieden wird und der Durchsatz erheblich verbessert wird. Zu den wichtigsten Optimierungen gehören Expert-, Pipeline- und Optimiererparallelität sowie Techniken wie zeilenweise Expertenparallelität und gruppierte GEMM, um die Routing-Kosten zu senken. Das System unterstützt auch MXFP8-Niederpräzisionsformate, die in Benchmarks im Vergleich zu BF16 den Trainingsdurchsatz um etwa 21 % steigerten. AllenAI demonstrierte die Fähigkeiten des Stacks mit einem Modell mit 1,2 Billionen Parametern, das hohe FLOP/s/GPU-Metriken erreichte, und experimentierte mit Konfigurationen, die bis zu 2,38 Billionen Parameter erreichten. Die Veröffentlichung umfasst einen technischen Bericht, der experimentelle Ergebnisse detailliert beschreibt, darunter Probleme mit balancierten Routing-Scores und Kommunikationsüberlappungen. Diese offene Infrastruktur dient als Grundlage für die nächste Generation von Olmo-Modellen und zielt darauf ab, akademischen Forschern und kleineren Labors zugängliche Tools für die fortschrittliche MoE-Entwicklung bereitzustellen.
huggingface