Notes de version d'Apertus 1.5
huggingface ·
L'équipe Apertus a publié la version 1.5 de ses modèles de langage à poids ouverts, proposant des variantes de 8 milliards et 70 milliards de paramètres sous licence Apache 2.0. Cette mise à jour introduit des capacités multimodales natives, permettant aux modèles de traiter des images et de l'audio ainsi que du texte grâce à une architecture de tokenisation unifiée. La fenêtre de contexte a été multipliée par quatre pour atteindre 262 144 tokens, et un mode de réflexion optionnel a été ajouté pour améliorer les performances de raisonnement sur des tâches complexes. L'entraînement a consisté à poursuivre le pré-entraînement avec des billions de tokens supplémentaires, répartis entre des étapes non appariées, appariées et à long contexte, suivi de phases rigoureuses d'entraînement postérieur incluant le réglage fin supervisé et l'apprentissage par renforcement. Les résultats d'évaluation indiquent des améliorations significatives dans le respect des instructions, l'utilisation d'outils et la traduction multilingue, le modèle de 8 milliards de paramètres surpassant ses concurrents de taille similaire sur certains benchmarks. Le projet met l'accent sur une transparence totale en publiant toutes les données d'entraînement, les recettes et les points de contrôle intermédiaires sur Hugging Face. De plus, Apertus collabore avec la Coalition EvalEval pour fournir des fiches d'évaluation reproductibles conformes aux normes émergentes de gouvernance de l'IA, telles que le règlement européen sur l'IA (EU AI Act). Pour l'avenir, l'équipe a annoncé une feuille de route pour Apertus 2.0, qui se concentrera sur les architectures clairsemées et les capacités basées sur des agents.
huggingface