Note di rilascio di Apertus 1.5
huggingface ·
Il team Apertus ha rilasciato la versione 1.5 dei suoi modelli linguistici open-weight, con varianti da 8B e 70B di parametri sotto licenza Apache 2.0. Questo aggiornamento introduce capacità multimodali native, consentendo ai modelli di elaborare immagini e audio insieme al testo attraverso un'architettura di tokenizer unificata. La finestra di contesto è stata ampliata quattro volte a 262.144 token ed è stata aggiunta una modalità di pensiero opzionale per migliorare le prestazioni di ragionamento su compiti complessi. L'addestramento ha coinvolto il proseguimento del pre-addestramento con trilioni di token aggiuntivi nelle fasi non accoppiate, accoppiate e a lungo contesto, seguito da rigorose fasi di post-addestramento che includevano il fine-tuning supervisionato e l'apprendimento per rinforzo. I risultati delle valutazioni indicano miglioramenti significativi nel seguire le istruzioni, nell'uso degli strumenti e nella traduzione multilingue, con il modello da 8B che supera i concorrenti di dimensioni simili in benchmark specifici. Il progetto enfatizza la piena trasparenza pubblicando tutti i dati di addestramento, le ricette e i checkpoint intermedi su Hugging Face. Inoltre, Apertus collabora con la Coalizione EvalEval per fornire schede di valutazione riproducibili conformi agli standard emergenti di governance dell'IA come il Regolamento UE sull'IA. Guardando al futuro, il team ha annunciato una roadmap per Apertus 2.0, che si concentrerà su architetture sparse e capacità basate su agenti.
huggingface