Представляем Olmo-core 3: открытая и масштабируемая инфраструктура обучения для больших MoE
huggingface ·
AllenAI выпустила Olmo-core 3 — инфраструктуру с открытым исходным кодом для обучения, предназначенную для масштабирования моделей Mixture-of-Experts (MoE) до триллиона параметров при сохранении вычислительной эффективности. Фреймворк переходит от полностью фрагментированного параллелизма данных к распределенному параллелизму данных, оставляя экспертов на GPU во избежание повторного сбора весов и значительно повышая пропускную способность. Ключевые оптимизации включают экспертный, конвейерный и оптимизаторский параллелизм, а также такие методы, как построчный экспертный параллелизм и группированные GEMM, что снижает затраты на маршрутизацию. Система также поддерживает форматы пониженной точности MXFP8, которые увеличили пропускную способность обучения примерно на 21% в бенчмарках по сравнению с BF16. AllenAI продемонстрировала возможности стека на модели с 1,2 триллиона параметров, достигнув высоких показателей FLOP/s/GPU, и экспериментировала с конфигурациями, достигающими 2,38 триллиона параметров. В релиз включен технический отчет с подробностями экспериментов, включая проблемы с сбалансированными оценками маршрутизации и перекрытием коммуникаций. Эта открытая инфраструктура служит основой для следующего поколения моделей Olmo, стремясь предоставить академическим исследователям и небольшим лабораториям доступные инструменты для продвинутой разработки MoE.
huggingface