Presentato Olmo-core 3: infrastruttura di addestramento aperta e scalabile per grandi MoE
huggingface ·
AllenAI ha rilasciato Olmo-core 3, un'infrastruttura di addestramento open-source progettata per scalare i modelli Mixture-of-Experts (MoE) fino all'ordine dei trilioni di parametri, mantenendo l'efficienza computazionale. Il framework passa dalla parallelizzazione dei dati completamente frammentata alla parallelizzazione distribuita dei dati, mantenendo gli esperti residenti sulle GPU per evitare il recupero ripetuto dei pesi e migliorando significativamente la throughput. Le ottimizzazioni chiave includono la parallelizzazione degli esperti, del pipeline e dell'ottimizzatore, insieme a tecniche come la parallelizzazione degli esperti per righe e il grouped GEMM per ridurre i costi di routing. Il sistema supporta anche formati a bassa precisione MXFP8, che hanno aumentato la throughput di addestramento di circa il 21% nei benchmark rispetto al BF16. AllenAI ha dimostrato le capacità dello stack con un modello da 1,2 trilioni di parametri che ha raggiunto elevate metriche FLOP/s/GPU ed ha sperimentato configurazioni fino a 2,38 trilioni di parametri. Il rilascio include un rapporto tecnico che dettagli i risultati sperimentali, tra cui problemi con i punteggi di routing bilanciato e le sovrapposizioni di comunicazione. Questa infrastruttura open-source funge da base per la prossima generazione di modelli Olmo, mirando a fornire ai ricercatori accademici e ai laboratori più piccoli strumenti accessibili per lo sviluppo avanzato di MoE.
huggingface