ERNIE 5.5 Flash Base · ERNIE

📌 One-Sentence Summary
ERNIE 5.5 Flash Base 是一款拥有 280B 参数的稀疏混合专家语言模型,从零开始使用 33.5T 个 token 进行预训练,支持 128K 上下文;它采用 Hybrid MLA+HCA 注意力、多路由器潜在 MoE 和 MultiMax 输出头等创新架构,可高效处理长上下文,并在推理、代码和考试基准测试中表现出色。
📝 Summary
本文宣布发布 ERNIE 5.5 Flash Base。这是一款拥有 280B 参数、每个 token 激活 14B 参数的稀疏混合专家语言模型,使用 33.5T 个 token 进行预训练,支持最长 128K 上下文,并支持在微调和推理中处理 1M-token 上下文。该模型引入了多项架构创新:Hybrid MLA+HCA 注意力机制压缩远距离上下文,同时保留粗粒度视图;Multi-Router Latent MoE 通过多个独立路由器改善专家选择;流形约束超连接(mHC)改善信息流;MultiMax 输出头采用可学习的分段温度;ECHO 则用于多 token 预测。预训练语料侧重代码仓库级代码和长上下文理解,并采用分布式 Muon 优化器和 FlashMask-4 注意力内核提升效率。评测显示,该模型在 30 项基准测试中表现出色,尤其擅长推理、代码和考试任务;其 MMLU-Pro 得分为 78.4%,GPQA 的 EM 得分为 60.2%。
💡 Main Points
ERNIE 5.5 Flash Base 引入 Hybrid MLA+HCA 注意力机制,并针对不同层设计注意力头维度、优化 KV 缓存,以高效处理长上下文。
大多数层使用重度压缩注意力(HCA),每 128 个 token 压缩为一个缓存条目;每七层中只有一层使用多头潜在注意力(MLA),以实现完整的 token 级访问。针对不同层设计的注意力头维度有助于优化计算成本:HCA 层使用宽度为 512 维的注意力头,MLA 层则使用较窄的 256 维注意力头。KV 缓存预算集中分配给 MLA 层,而完整上下文层则采用稀疏注意力(DSA),从而在上下文增长时保持每次查询的成本不变。
Multi-Router Latent MoE 以多个独立初始化的 sigmoid 路由器取代单一路由器,从而改善专家选择和负载均衡。
单个路由器的评分与专家实用性的相关性较弱,在中间层和深层尤其如此。Multi-Router 允许多个路由器形成不同偏好,使错误选择更容易得到纠正。该设计包含 512 个路由专家(top-10)和 1 个共享专家,并采用无辅助损失、经过偏差校正的负载均衡机制;此外,它还使用潜在专家,将 token 投影到 2048 维的潜在空间,使分发与合并的数据流量大约减少一半。
该模型凭借架构创新,在推理、代码和考试基准测试中达到领先表现,同时保持高效。
在 30 项基准测试中,ERNIE 5.5 Flash Base 的表现优于 DeepSeek V4 Flash Base、Hy3 preview Base 和 MiMo V2.5 Base。其 MMLU EM 得分为 93.3%,MMLU-Pro EM 得分为 78.4%,GPQA EM 得分为 60.2%,MGSM EM 得分为 87.0%。43 层中有 37 层采用 128× 压缩注意力,带来强劲的长上下文表现;另外 6 层 MLA-DSA 则在长上下文基准测试中维持模型质量。
💬 Key Quotes
ERNIE 5.5 Flash 有 43 个 Transformer 层、4096 的隐藏层维度和 64 个注意力头。
Hybrid MLA + HCA 注意力:大多数层只需粗略了解遥远的过去,因此每七层中只有一层通过多头潜在注意力(MLA)保留对完整上下文的 token 级访问。
Multi-Router 以多个独立初始化的 sigmoid 路由器取代单一路由器,由它们共同为专家评分。
ERNIE-5.5-Flash-Base 在所有基准测试类别中均表现出色,其中推理、代码和考试基准测试成绩尤为突出。
📊 Article Meta
AI Screening: 92
Featured: Yes
Source: Hacker News: Front Page
Author: pretext
Category: 人工智能
Language: 英文
Read Time: 12 min
Word Count: 2970
Tags:
AI 与智能应用 , 注意力机制 , 混合专家模型 , 长上下文 , 模型训练与推理
刚好最近在找这方面的资料,太及时了。
内容翔实,正好需要,先收藏再看。
这个比较实用,已转发给同事。
支持作者,持续关注中。
实测过类似工具,作者说的基本属实。
看标题就点进来了,内容果然没让人失望。
收藏了,以后慢慢研究。
讲解得很细致,新手也能看懂。
写得挺用心的,支持一下。
点赞,必须点赞
思路清晰,干货满满。
看标题就点进来了,内容果然没让人失望。