稠密与稀疏 MoE 之争：大模型架构的底层权衡

规模化的条件计算

深度学习的大部分历史里，模型对每个输入使用同一组参数。2017 年稀疏门控混合专家（Sparsely-Gated Mixture-of-Experts）层的引入改变了这一点：对不同输入激活网络的不同子集，仅以轻微的计算开销就取得超过 1000 倍的模型容量提升。

这一架构洞见的持久性令人瞩目。稠密 Transformer 每层只有一个前馈网络，而 MoE Transformer 用多个专家前馈网络加一个学习到的路由器取而代之，把每个 token 送到其中一部分专家。一个 token 可能只激活 8 个或更多专家中的 2 个，意味着模型总参数多得多，但每个 token 的计算成本接近一个小得多的稠密模型。截至 2026 年中，这一原则是几乎所有生产级前沿语言模型的底层。

稀疏 MoE 的定义

并非所有 MoE 模型都一样。稀疏 MoE 的定义特征是每个 token 只激活一部分专家。这是条件计算：计算图随样本变化。稠密模型里每个参数都参与每次前向传播；稀疏 MoE 里，路由器从更大的池子里选出少量专家（通常 1 或 2 个），只有这些专家处理该 token，未选中的专家对该 token 的计算毫无贡献。

这一区别制造了 MoE 的核心权衡：总参数量可以增长到数万亿，而每 token 活跃参数保持在数百亿。当前生产级 MoE 模型的总参数与活跃参数之比常规运行在 10-20 倍，且随着专家数量增加呈更高比例趋势。

DeepSeek-V4——DeepSeek 模型家族 2026 年初发布的当前一代——延续 V3 确立的细粒度 MoE 路线：每层数百个路由专家，每 token 活跃参数数百亿，总参数量更大。其前身 DeepSeek-V3 总参数 6710 亿、每 token 活跃 370 亿，激活率约 5.5%。

几大模型家族展示了设计光谱。MoE 一侧，DeepSeek 的 V4 及其前代使用每层数百专家的细粒度路由；Mistral 的 Mixtral 系列每层 8 专家、top-2 路由；Databricks 的 DBRX 用 16 个细粒度专家、top-4 路由；Qwen 的 MoE 变体与 Mixtral 类似。稠密一侧，阿里的 Qwen3.6-27B 证明小尺寸稠密模型也能与大得多的 MoE 竞争；Google 的 Gemini 家族在 Nano、Pro、Ultra 各档位同时包含稠密与 MoE 变体。每家实验室的选择反映了对内存-算力权衡和目标部署形态的不同判断。

路由机制

路由器（也叫门控网络）决定哪些专家处理每个 token。所有主流 MoE 系统的主导方法仍是 top-K 路由：路由器对所有专家计算一个概率分布，选出得分最高的 K 个（通常 K=2），再用门控权重组合被选专家的输出。

早期 MoE 系统探索过替代方案。top-1 路由每 token 只激活单个专家，最大化稀疏性但需要更大的专家容量来应对负载不均，且引入训练不稳定。到 2026 年，top-2 已成为标准，多数研究聚焦于如何选这两个专家，而非是否选两个。DBRX 用 top-4 替代 top-2，每 token 激活更多专家、牺牲部分稀疏性，其开发者发现在某些推理任务上这样表现更好。

设计空间已从粗粒度转向细粒度路由。早期系统如 GShard 每层用 8 个粗粒度专家。DeepSeek 的架构把专家拆得更细：DeepSeek-V3 每层 256 个路由专家外加一个捕获跨 token 通用知识的共享专家。DeepSeek-V4 进一步扩大专家数量，同时维持 top-2 路由方案，延续更细粒度的趋势。这种细粒度分割——如今已被领域内以各种形式采用——允许被激活专家更灵活的组合，可测量地提升特化程度。后续模型的专家数从 8 个到超过 512 个不等，随着训练与推理基础设施成熟，趋势偏向更细粒度。

专家特化

专家是否真的特化于不同领域，还是路由实际上是随机的——这是一个持续存在的问题。到 2025 和 2026 年积累的证据指向部分的、与任务相关的特化。研究发现并非所有专家同等重要。这对模型压缩有实际意义：多个团队证明，从训练好的 MoE 模型剪枝 25-50% 的专家，仍能保留其大部分能力。

2026 年的任务条件路由研究证实路由决策与任务类型相关：某些专家在代码生成时被一致激活，另一些对应自然语言，还有一些对应数学推理。但这种特化并不干净。反事实路由分析显示，token 有时被路由到次优专家却仍产生正确输出，暗示模型在专家间有显著冗余。特化程度也随层变化：靠前的层特化更少，靠后的层更多。

负载均衡

因为路由器决定激活哪些专家，它可能学会把大多数 token 路由到一小撮专家，从而违背设置多个专家的初衷。这就是负载均衡问题。每个生产级 MoE 系统都必须解决它。

最早的方法是辅助损失：惩罚不均衡的专家利用率，加到训练目标里。这一方法仍在使用，但增加了一个需要调参的超参数。专家选择路由（Expert Choice）走了另一条路：不是 token 选专家，而是每个专家选它的 top-K token，从构造上保证完美负载均衡。

2024 年引入并持续精炼的无辅助损失负载均衡，用对路由分数的动态偏置调整替代惩罚项。这一方法被广泛采用，因为它简化训练并消除了调均衡系数的需要。

当前多数 MoE 系统使用该技术的某种变体，常辅以一个小的互补损失以保稳定。连续几代 DeepSeek 模型展示了演进：V2 用辅助损失，V3 引入无辅助损失均衡，V4 用自适应的每专家学习率缩放进一步精炼偏置调整机制。

训练与不稳定

稀疏 MoE 模型比稠密模型更难训练。路由决策制造不连续的优化曲面，门控网络可能崩溃——把所有 token 路由到同一专家——若无小心干预。2021-2024 年间发展的稳定化技术——bfloat16 精度、用于梯度缩放的路由器 z-loss、随机路由掩码——已成为许多实验室的标准做法。

到 2026 年，许多此类不稳定已在架构层面解决。细粒度路由结合无辅助损失均衡和改进的注意力机制，在超过 6000 亿参数的规模上产生稳定训练。

训练研究的焦点已从基本稳定性转向优化专家利用率和减少分布式训练中的通信开销。多篇 2025-2026 年论文演示了总参数高达 2 万亿的稳定 MoE 训练，跨数百 GPU 的专家并行成为标准配置。

推理特性

稀疏 MoE 模型呈现出与稠密模型根本不同的推理画像。总参数量决定内存占用：部署一个数千亿参数的模型，需要把全部参数加载进 GPU 显存——即使每 token 只激活一小部分。这意味着 MoE 模型比同等活跃参数的稠密模型需要更多总显存。

推理吞吐取决于批大小和硬件配置。小批量时 MoE 可以比稠密等价物更快，因为每 token 计算 FLOPs 更少。大批量时稠密等价物可能追上或反超，因为稠密模型的硬件利用率更好——每个参数都被每个 token 使用，计算单元保持满载。MoE 服务还需要专家路由的全对全（all-to-all）通信，这是稠密模型可以避免的。

2025 到 2026 年的研究大量记录了专家分散（expert scattering）问题：一个批次内不同 token 选中的专家分布在不同 GPU 上，需要昂贵的通信，限制吞吐。专门的推理系统通过预测性专家缓存、高效多 GPU 调度和负载感知的卸载来应对。

MoE 模型的注意力-FFN 分离仍是系统研究的活跃领域，多个生产部署已把注意力计算和专家计算分离到不同硬件以优化资源利用。

何时用 MoE，何时用稠密

稠密与 MoE 架构之选取决于部署约束。当主要成本是算力且内存相对充裕时，MoE 有吸引力。训练一个给定质量水平的 MoE 模型通常比训练到同等质量的稠密模型需要更少总 FLOPs，这让 MoE 对在算力预算下训练大模型的机构有吸引力。这一优势是几乎所有在千亿参数以上规模训练的实验室都至少为部分模型采用 MoE 的原因。

稠密模型部署更简单：没有路由开销、没有负载均衡顾虑、推理时没有专家分散。对于以极高吞吐、大批量服务模型的机构，稠密模型能取得更好的硬件利用率和更低的总拥有成本。稠密路线还受益于更长时间发展起来的更丰富推理优化工具生态。

第三类已经出现：在同一架构中混合稠密与 MoE 层的混合模型。一些新设计用稠密注意力层配 MoE 前馈层，或前段稠密后段 MoE。这些混合体试图在网络中专家特化收益较小的部分获得稠密模型的部署简单性，同时在最重要的地方保留 MoE 的容量优势。

两种架构的差距在最大规模上收窄。设计良好的 MoE 模型持续匹敌同等计算预算下最好的稠密模型。MoE 的架构复杂性是否值得，取决于部署优先考虑训练效率、推理延迟还是总拥有成本。

领域现状

到 2026 年中，稀疏 MoE 已成为前沿语言模型的默认架构。版图跨越多种设计哲学：

细粒度 MoE。 DeepSeek 的模型家族跨四代使用 MoE：从 V2 的细粒度门控，到 V3 的无辅助损失路由，再到 V4 的精炼专家分配与规模化训练。最新一代延续每层数百路由专家、top-2 激活的趋势。

中等专家数 MoE。 Mistral 的 Mixtral 系列（8 专家、top-2）证明相对简单的设计也能匹敌大得多的稠密模型。Databricks 的 DBRX 用 16 专家、top-4 路由，以部分稀疏性换推理提升。xAI 的 Grok 家族在较大变体中用 MoE。Google 的 Gemini Ultra 档用 MoE，较小的 Nano 和 Pro 档保持稠密。Qwen 的 MoE 变体遵循 Mixtral 式设计，8 专家。

稠密坚守者。 Anthropic 的 Claude 模型显然在所有尺寸上保持稠密，反映了一种判断：部署简单性与推理可靠性胜过训练 FLOP 节省。Amazon 的 Nova 系列也是稠密。这些选择说明即使在大规模，MoE 也并非被普遍采用。

混合与实验架构。 AI21 Labs 的 Jamba 及相关模型把 SSM（状态空间模型）层与 MoE 结合，代表另一种架构方向。多家中国实验室（包括百度和智谱）已部署旗舰模型的 MoE 变体。Apple 已发表面向端侧部署的 MoE 研究，暗示该架构可能走出数据中心。

每家开发前沿规模模型的主要 AI 实验室，要么在生产中使用 MoE，要么已发表相关研究。问题不再是 MoE 是否可行，而是如何设计路由机制、分配专家容量、管理部署的系统挑战。趋势是更细粒度的专家、更精巧的负载均衡，以及模型架构与硬件拓扑的更紧耦合。

研究前沿已从「让 MoE 跑起来」转向为特定硬件环境优化设计。当前活跃方向包括：面向部署效率的专家剪枝与压缩；按 token 动态变化活跃专家数而非固定 K 的动态计算分配；考虑 GPU 拓扑与互连带宽的硬件感知专家放置；以及前瞻未来 token 以做出更好分配决策的路由预判。

部署成本最低的模型，不总是参数最少的模型——是架构与运行硬件最匹配的模型。

原文信息

• 作者：Mayhem4Markets（@Mayhem4Markets），AI 模型架构技术分析
• 发布时间：2026-07-15 原文地址：