Notas de la versión 1.5 de Apertus
huggingface ·
El equipo de Apertus ha lanzado la versión 1.5 de sus modelos de lenguaje de peso abierto, que incluye variantes de 8B y 70B de parámetros bajo una licencia Apache 2.0. Esta actualización introduce capacidades multimodales nativas, permitiendo a los modelos procesar imágenes y audio junto con texto mediante una arquitectura de tokenizador unificada. La ventana de contexto se ha ampliado cuatro veces hasta 262.144 tokens, y se ha añadido un modo de pensamiento opcional para mejorar el rendimiento de razonamiento en tareas complejas. El entrenamiento consistió en continuar el preentrenamiento con billones de tokens adicionales en etapas no emparejadas, emparejadas y de contexto largo, seguido de rigurosas fases de postentrenamiento que incluyeron ajuste fino supervisado y aprendizaje por refuerzo. Los resultados de evaluación indican mejoras significativas en el seguimiento de instrucciones, el uso de herramientas y la traducción multilingüe, con el modelo de 8B superando a competidores de tamaño similar en benchmarks específicos. El proyecto enfatiza la transparencia total publicando todos los datos de entrenamiento, recetas y puntos de control intermedios en Hugging Face. Además, Apertus colabora con la Coalición EvalEval para proporcionar tarjetas de evaluación reproducibles que cumplen con las normas emergentes de gobernanza de IA, como la Ley de IA de la UE. De cara al futuro, el equipo ha anunciado una hoja de ruta para Apertus 2.0, que se centrará en arquitecturas dispersas y capacidades basadas en agentes.
huggingface