ERNIE 5.5 Flash Base · ERNIE

空逐月行业资讯📡 BestBlogs·全站精选⭐ 922026-11-06428 阅读💛 111 收藏
ERNIE 5.5 Flash Base · ERNIE

📌 One-Sentence Summary

ERNIE 5.5 Flash Base 是一款拥有 280B 参数的稀疏混合专家语言模型,从零开始使用 33.5T 个 token 进行预训练,支持 128K 上下文;它采用 Hybrid MLA+HCA 注意力、多路由器潜在 MoE 和 MultiMax 输出头等创新架构,可高效处理长上下文,并在推理、代码和考试基准测试中表现出色。

📝 Summary

本文宣布发布 ERNIE 5.5 Flash Base。这是一款拥有 280B 参数、每个 token 激活 14B 参数的稀疏混合专家语言模型,使用 33.5T 个 token 进行预训练,支持最长 128K 上下文,并支持在微调和推理中处理 1M-token 上下文。该模型引入了多项架构创新:Hybrid MLA+HCA 注意力机制压缩远距离上下文,同时保留粗粒度视图;Multi-Router Latent MoE 通过多个独立路由器改善专家选择;流形约束超连接(mHC)改善信息流;MultiMax 输出头采用可学习的分段温度;ECHO 则用于多 token 预测。预训练语料侧重代码仓库级代码和长上下文理解,并采用分布式 Muon 优化器和 FlashMask-4 注意力内核提升效率。评测显示,该模型在 30 项基准测试中表现出色,尤其擅长推理、代码和考试任务;其 MMLU-Pro 得分为 78.4%,GPQA 的 EM 得分为 60.2%。

💡 Main Points

ERNIE 5.5 Flash Base 引入 Hybrid MLA+HCA 注意力机制,并针对不同层设计注意力头维度、优化 KV 缓存,以高效处理长上下文。

大多数层使用重度压缩注意力(HCA),每 128 个 token 压缩为一个缓存条目;每七层中只有一层使用多头潜在注意力(MLA),以实现完整的 token 级访问。针对不同层设计的注意力头维度有助于优化计算成本:HCA 层使用宽度为 512 维的注意力头,MLA 层则使用较窄的 256 维注意力头。KV 缓存预算集中分配给 MLA 层,而完整上下文层则采用稀疏注意力(DSA),从而在上下文增长时保持每次查询的成本不变。

Multi-Router Latent MoE 以多个独立初始化的 sigmoid 路由器取代单一路由器,从而改善专家选择和负载均衡。

单个路由器的评分与专家实用性的相关性较弱,在中间层和深层尤其如此。Multi-Router 允许多个路由器形成不同偏好,使错误选择更容易得到纠正。该设计包含 512 个路由专家(top-10)和 1 个共享专家,并采用无辅助损失、经过偏差校正的负载均衡机制;此外,它还使用潜在专家,将 token 投影到 2048 维的潜在空间,使分发与合并的数据流量大约减少一半。

该模型凭借架构创新,在推理、代码和考试基准测试中达到领先表现,同时保持高效。

在 30 项基准测试中,ERNIE 5.5 Flash Base 的表现优于 DeepSeek V4 Flash Base、Hy3 preview Base 和 MiMo V2.5 Base。其 MMLU EM 得分为 93.3%,MMLU-Pro EM 得分为 78.4%,GPQA EM 得分为 60.2%,MGSM EM 得分为 87.0%。43 层中有 37 层采用 128× 压缩注意力,带来强劲的长上下文表现;另外 6 层 MLA-DSA 则在长上下文基准测试中维持模型质量。

💬 Key Quotes

ERNIE 5.5 Flash 有 43 个 Transformer 层、4096 的隐藏层维度和 64 个注意力头。

Hybrid MLA + HCA 注意力:大多数层只需粗略了解遥远的过去,因此每七层中只有一层通过多头潜在注意力(MLA)保留对完整上下文的 token 级访问。

Multi-Router 以多个独立初始化的 sigmoid 路由器取代单一路由器,由它们共同为专家评分。

ERNIE-5.5-Flash-Base 在所有基准测试类别中均表现出色,其中推理、代码和考试基准测试成绩尤为突出。

📊 Article Meta

AI Screening: 92

Featured: Yes

Source: Hacker News: Front Page

Author: pretext

Category: 人工智能

Language: 英文

Read Time: 12 min

Word Count: 2970

Tags:

AI 与智能应用 , 注意力机制 , 混合专家模型 , 长上下文 , 模型训练与推理

#AI 与智能应用# 注意力机制# 混合专家模型# 长上下文# 模型训练与推理

文章评论(12)

拾贝者10 天前

刚好最近在找这方面的资料,太及时了。

回复
北岛渔夫10 天前

内容翔实,正好需要,先收藏再看。

回复
崔欣怡10 天前

这个比较实用,已转发给同事。

回复
吴超10 天前

支持作者,持续关注中。

回复
石佳琪10 天前

实测过类似工具,作者说的基本属实。

回复
风倚栏10 天前

看标题就点进来了,内容果然没让人失望。

回复
风拾光10 天前

收藏了,以后慢慢研究。

回复
林观澜10 天前

讲解得很细致,新手也能看懂。

回复
雪影10 天前

写得挺用心的,支持一下。

回复
月沐雨10 天前

点赞,必须点赞

回复
龙文博10 天前

思路清晰,干货满满。

回复
星知秋10 天前

看标题就点进来了,内容果然没让人失望。

回复