你的专家也有搭档。HOPE 有望让它们保持协作

📌 One-Sentence Summary
HOPE 为混合专家语言模型提出了一种二阶剪枝方法,能够考虑专家之间的成对交互;通过保留协作的专家组而非独立剪除专家,该方法在 50% 剪枝率下实现了更优性能。
📝 Summary
本文介绍了 HOPE(专家高阶剪枝),这是一种针对混合专家(MoE)语言模型的新型剪枝方法,旨在解决一阶剪枝方法的局限。传统方法会独立评估每个专家,而 HOPE 注意到,专家会形成协作组并共同激活。该方法构建一个 F 矩阵来捕捉专家之间的成对交互,并通过求解二次规划,找出能将剪枝误差降至最低的最优剪枝集合。在使用 Evol-CodeAlpaca 和 SWE-Bench Verified 校准数据集对 Qwen3.5-122B、Qwen3.5-35B 和 GLM-4.5-Air 模型进行评估后,HOPE 在 5 种方法中取得了最佳平均排名(2.07),并在激进的 50% 剪枝率下占据优势;与次优方法相比,它在智能体编程任务上的提升最高达 +6.1%。该方法只需对校准数据进行一次前向传播,每层的二次规划求解也只需数秒,因此具备实际部署可行性。
💡 Main Points
一阶剪枝方法无法考虑专家之间的协作
传统专家剪枝方法会使用标量重要性指标独立评估每个专家,但专家会形成稳定的协作组并共同激活。如果移除某个单独看来很重要、但属于协作组的专家,就可能破坏整个协作组的功能,而一阶方法无法识别这一点。
HOPE 使用 F 矩阵捕捉专家之间的成对交互
F 矩阵的对角线元素衡量每个专家的重要性,非对角线元素则反映专家之间的成对协作贡献。每个元素 F_{i,j} 表示在专家 i 和 j 共同激活的 token 上,两者经门控权重加权后的输出乘积均值,使该方法能够在剪枝时保留协作簇。
通过二次规划优化剪枝集合的选择
HOPE 将剪枝建模为在校准集上最小化预期剪枝误差的问题,并将其转化为带有二元约束的二次规划。该问题通过连续松弛和取整求解,每层只需数秒,同时能在保持模型性能的前提下实现最优专家移除。
HOPE 在激进剪枝率下优于基线方法
在 50% 剪枝率下,HOPE 的平均排名为 1.58,而次优方法 REAP 为 2.42;它在智能体编程任务上的提升最高达 +6.1%。在 Qwen3.5-35B-A3B 上,HOPE 在 SWE-Bench Pro 上取得 41.8 分,与未剪枝模型持平,而 REAP 降至 36.2 分。这表明,在多样化的多轮任务中,保留协作结构至关重要。
💬 Key Quotes
「混合专家(MoE)模型让最先进的大型语言模型(LLM)得以扩展至数千亿参数,但这也带来一个根本性且代价高昂的问题:推理时,所有专家 MLP 都必须占用内存,尽管对于任意给定的 token 来说,绝大多数专家都处于闲置状态。」
「现有剪枝方法会独立评估每个专家,根据校准数据集为每个专家分配一个标量重要性分数,然后在每一层中独立移除最不重要的专家。这些方法属于一阶方法,因为它们假设每个专家的贡献与其他所有专家无关。」
「实际上,专家会形成协作组。在我们自己的实验中,我们观察到共同激活的专家会形成稳定的簇;独立研究也表明,专家协作是 MoE 的稳定特性,并且对模型性能十分重要。」
「在 50% 剪枝率下,HOPE 的平均排名提升至 1.58(次优方法 REAP 为 2.42)。这也是与部署最相关的设置,因为此时节省的内存足以支持更长的上下文、更深入的推理以及更多工具调用。」
「在 Qwen3.5-35B-A3B 上进行 50% 剪枝时,HOPE 在 SWE-Bench Pro 上取得 42.3 分,与未剪枝模型的 41.8 分相当;而 REAP 则降至 36.2 分,性能回退 13%。」
📊 Article Meta
AI Screening: 88
Source: Hugging Face - Blog
Author: Alex M Tseng
Category: 人工智能
Language: 英文
Read Time: 9 min
Word Count: 2071
Tags:
AI 与智能应用 , 混合专家模型 , 模型训练与推理 , 开放权重模型 , AI Agent
很有价值的分享,感谢整理。
这篇文章分析得很透彻,收藏了!
支持作者,持续关注中。
这个比较实用,已转发给同事。
这个观点很中肯,深有同感。
看完了,收获满满,期待更多更新。
这个观点很中肯,深有同感。
讲解得很细致,新手也能看懂。
赞同,实践出真知。
赞同,实践出真知。
点赞,必须点赞
看完了,收获满满,期待更多更新。