Apertus 1.5 发布说明

📌 One-Sentence Summary

Apertus 1.5 在 8B 和 70B 模型的基础上，新增了对图像和音频的本地理解、将上下文窗口扩展了 4 倍，并提升了指令遵循和工具使用能力，同时保持开放源码的透明性和遵守 Apertus 章程。

📝 Summary

Apertus 1.5 是对第一代模型的继续预训练，向 8B 模型增加了 4 万亿个文本和多模态数据标记，向 70B 模型增加了 2 万亿个。此次发布引入了本地多模态理解（图像和音频）、用于提升推理的“思考模式”、262k 标记的上下文窗口，以及增强的指令遵循和工具使用能力。训练过程包括四阶段的预训练，随后是五阶段的后训练（包括 SFT、RLVR 和 DPO），所有数据和配方均对外公开，以确保可复现性。

💡 Main Points

原生多模态理解

得益于 Emu3.5 和 WavTokenizer 的集成，Apertus 1.5 能够将图像和音频与文本一道进行处理。这允许模型在无需独立编码器的情况下执行视觉-语言任务和语音识别。

扩展的上下文窗口

模型的上下文窗口已扩展至 262，144 个标记，比前一版本提升了 4 倍。这使分析非常长的文档和对话历史成为可能。

改进的推理和指令遵循

引入‘思考模式’，并针对推理跟踪进行专门的后训练，显著提升了模型处理复杂推理任务的性能，以及准确遵循指令的能力。

开放性和可复现性

Swiss AI 继续秉持透明原则，公开模型权重、训练数据和详细配方。使用 EvalEval 模式确保评估结果可复现并具有可比性。

💬 Key Quotes

Apertus 1.5 是对第一代模型的继续预训练：向 8B 模型添加 4 万亿个文本和多模态训练数据标记，向 70B 模型添加 2 万亿，总计分别为 19T 和 17T。

我们采用早期融合的方式将多模态引入 v1.5 模型中，其中图像和音频作为离散标记，与文本标记一起进入同一序列，而不是使用单独的视觉编码器。

模型的上下文窗口已扩展至 262，144 个标记，比前一版本提升了 4 倍。这使分析非常长的文档和对话历史成为可能。

📊 Article Meta

AI Screening： 92

Source： Hugging Face - Blog

Author： Hanna Yukhymenko, Oleg Lavrovsky, Y Metz

Category： 人工智能

Language： 英文

Read Time： 9 min

Word Count： 2145

Tags：

AI 与智能应用 , 模型发布 , 长上下文 , 多模态 AI , 后训练