你的专家也有搭档。HOPE 有望让它们保持协作

云向阳AI 前沿📡 BestBlogs·AI高分精选⭐ 882026-11-09641 阅读💛 83 收藏
你的专家也有搭档。HOPE 有望让它们保持协作

📌 One-Sentence Summary

HOPE 为混合专家语言模型提出了一种二阶剪枝方法,能够考虑专家之间的成对交互;通过保留协作的专家组而非独立剪除专家,该方法在 50% 剪枝率下实现了更优性能。

📝 Summary

本文介绍了 HOPE(专家高阶剪枝),这是一种针对混合专家(MoE)语言模型的新型剪枝方法,旨在解决一阶剪枝方法的局限。传统方法会独立评估每个专家,而 HOPE 注意到,专家会形成协作组并共同激活。该方法构建一个 F 矩阵来捕捉专家之间的成对交互,并通过求解二次规划,找出能将剪枝误差降至最低的最优剪枝集合。在使用 Evol-CodeAlpaca 和 SWE-Bench Verified 校准数据集对 Qwen3.5-122B、Qwen3.5-35B 和 GLM-4.5-Air 模型进行评估后,HOPE 在 5 种方法中取得了最佳平均排名(2.07),并在激进的 50% 剪枝率下占据优势;与次优方法相比,它在智能体编程任务上的提升最高达 +6.1%。该方法只需对校准数据进行一次前向传播,每层的二次规划求解也只需数秒,因此具备实际部署可行性。

💡 Main Points

一阶剪枝方法无法考虑专家之间的协作

传统专家剪枝方法会使用标量重要性指标独立评估每个专家,但专家会形成稳定的协作组并共同激活。如果移除某个单独看来很重要、但属于协作组的专家,就可能破坏整个协作组的功能,而一阶方法无法识别这一点。

HOPE 使用 F 矩阵捕捉专家之间的成对交互

F 矩阵的对角线元素衡量每个专家的重要性,非对角线元素则反映专家之间的成对协作贡献。每个元素 F_{i,j} 表示在专家 i 和 j 共同激活的 token 上,两者经门控权重加权后的输出乘积均值,使该方法能够在剪枝时保留协作簇。

通过二次规划优化剪枝集合的选择

HOPE 将剪枝建模为在校准集上最小化预期剪枝误差的问题,并将其转化为带有二元约束的二次规划。该问题通过连续松弛和取整求解,每层只需数秒,同时能在保持模型性能的前提下实现最优专家移除。

HOPE 在激进剪枝率下优于基线方法

在 50% 剪枝率下,HOPE 的平均排名为 1.58,而次优方法 REAP 为 2.42;它在智能体编程任务上的提升最高达 +6.1%。在 Qwen3.5-35B-A3B 上,HOPE 在 SWE-Bench Pro 上取得 41.8 分,与未剪枝模型持平,而 REAP 降至 36.2 分。这表明,在多样化的多轮任务中,保留协作结构至关重要。

💬 Key Quotes

「混合专家(MoE)模型让最先进的大型语言模型(LLM)得以扩展至数千亿参数,但这也带来一个根本性且代价高昂的问题:推理时,所有专家 MLP 都必须占用内存,尽管对于任意给定的 token 来说,绝大多数专家都处于闲置状态。」

「现有剪枝方法会独立评估每个专家,根据校准数据集为每个专家分配一个标量重要性分数,然后在每一层中独立移除最不重要的专家。这些方法属于一阶方法,因为它们假设每个专家的贡献与其他所有专家无关。」

「实际上,专家会形成协作组。在我们自己的实验中,我们观察到共同激活的专家会形成稳定的簇;独立研究也表明,专家协作是 MoE 的稳定特性,并且对模型性能十分重要。」

「在 50% 剪枝率下,HOPE 的平均排名提升至 1.58(次优方法 REAP 为 2.42)。这也是与部署最相关的设置,因为此时节省的内存足以支持更长的上下文、更深入的推理以及更多工具调用。」

「在 Qwen3.5-35B-A3B 上进行 50% 剪枝时,HOPE 在 SWE-Bench Pro 上取得 42.3 分,与未剪枝模型的 41.8 分相当;而 REAP 则降至 36.2 分,性能回退 13%。」

📊 Article Meta

AI Screening: 88

Source: Hugging Face - Blog

Author: Alex M Tseng

Category: 人工智能

Language: 英文

Read Time: 9 min

Word Count: 2071

Tags:

AI 与智能应用 , 混合专家模型 , 模型训练与推理 , 开放权重模型 , AI Agent

#AI 与智能应用# 混合专家模型# 模型训练与推理# 开放权重模型# AI Agent

文章评论(12)

空向阳6 天前

很有价值的分享,感谢整理。

回复
风拾光6 天前

这篇文章分析得很透彻,收藏了!

回复
武磊6 天前

支持作者,持续关注中。

回复
青柠微凉6 天前

这个比较实用,已转发给同事。

回复
曹浩6 天前

这个观点很中肯,深有同感。

回复
武磊6 天前

看完了,收获满满,期待更多更新。

回复
星寻梦6 天前

这个观点很中肯,深有同感。

回复
林观澜6 天前

讲解得很细致,新手也能看懂。

回复
晨沐雨6 天前

赞同,实践出真知。

回复
武磊6 天前

赞同,实践出真知。

回复
星寻梦6 天前

点赞,必须点赞

回复
武磊6 天前

看完了,收获满满,期待更多更新。

回复