Apertus 1.5 发布说明
huggingface ·
Apertus团队发布了其开源权重语言模型的1.5版本,提供8B和70B两种参数规模的变体,均采用Apache 2.0许可证。此次更新引入了原生多模态能力,通过统一的分词器架构使模型能够同时处理图像、音频和文本。上下文窗口扩大四倍至262,144个token,并新增可选的“思考模式”以增强在复杂任务上的推理性能。训练过程包括在三阶段(未配对、配对和长上下文)中使用数万亿额外token进行继续预训练,随后经过严格的后训练阶段,涵盖监督微调和强化学习。评估结果显示,模型在指令遵循、工具使用和 multilingual 翻译方面取得显著提升,其中8B模型在特定基准测试中优于规模相当的竞争对手。该项目强调完全透明,已在Hugging Face上发布所有训练数据、配方和中间检查点。此外,Apertus与EvalEval联盟合作,提供符合欧盟《人工智能法案》等新兴AI治理标准的可复现评估卡片。展望未来,团队已公布Apertus 2.0的发展路线图,将重点关注稀疏架构和基于智能体的能力。
huggingface