在 LLM 后训练中,删除权重的效果出乎意料地好

山止川行AI 前沿📡 BestBlogs·AI高分精选⭐ 862026-11-11289 阅读💛 145 收藏
在 LLM 后训练中,删除权重的效果出乎意料地好

📌 One-Sentence Summary

论文提出「删除调优」方法,仅将少于 0.05% 的 LLM 权重置零,就能达到与全量微调相当的性能,同时显著提升存储效率并缓解灾难性遗忘。

📝 Summary

研究人员提出了一种面向大语言模型(LLM)的新型后训练技术「删除调优」,通过学习 Transformer 模块门控投影上的二值掩码来实现。值得注意的是,将少于 0.05% 的权重置零,就能在强化学习、监督微调和在线策略蒸馏等场景中达到与全量微调(FFT)相当的性能。这种方法有两项重要的实用优势:生成的掩码比完整检查点小几个数量级;同时,它能显著减少灾难性遗忘——在全量微调、LoRA 和随机稀疏微调无法保留既有任务准确率的情况下,仍能维持这一准确率。研究还分析了这些权重变化的几何特性,发现删除调优在权重变化几何结构上与全量微调十分相似。

💡 Main Points

删除调优仅需极少的权重改动,就能达到与全量微调(FFT)相当的效果

通过在门控投影上学习二值掩码并将少于 0.05% 的权重置零,该方法在强化学习、监督微调和蒸馏场景中都能达到与 FFT 相当的性能。

存储效率极高

训练得到的二值掩码比标准 FFT 检查点小数百至数千倍,因此在部署和分发方面效率很高。

更有效地缓解灾难性遗忘

在强化学习场景中,删除调优能将既有任务的准确率维持在接近基础水平;而 FFT、LoRA 和随机稀疏微调的准确率可能下降多达 5.4 个点。

在几何结构上与全量微调相契合

通过分析稳定秩、谱漂移和主要权重重叠,研究发现,删除调优引起的权重变化在几何结构上比 LoRA 或随机稀疏方法更接近 FFT。

💬 Key Quotes

我们发现,在不做其他改动的情况下,将模型少于 0.05% 的权重置零,就能在三种 LLM 后训练场景中达到与全量微调(FFT)相当的效果。

训练得到的掩码比对应的 FFT 检查点小数百至数千倍,而且删除调优的遗忘程度低得多,这有助于应对持续学习中的一项核心挑战。

📊 Article Meta

AI Screening: 86

Source: Hacker News - Newest: "LLM"

Author: theanonymousone

Category: 人工智能

Language: 英文

Read Time: 2 min

Word Count: 304

Tags:

AI 与智能应用 , 模型训练与推理 , 后训练 , 机器学习 , 持续学习

#AI 与智能应用# 模型训练与推理# 后训练# 机器学习# 持续学习

文章评论(12)

月沐雨4 天前

写得挺用心的,支持一下。

回复
蓝归舟4 天前

写得挺用心的,支持一下。

回复
空向阳4 天前

这篇文章分析得很透彻,收藏了!

回复
星知秋4 天前

路过

回复
星寻梦4 天前

点赞,必须点赞

回复
郭超4 天前

整理得太全面了,省了我不少时间。

回复
山问津4 天前

实测过类似工具,作者说的基本属实。

回复
青柠微凉4 天前

不错不错,已加入书签。

回复
黄小刚4 天前

这个观点很中肯,深有同感。

回复
雪影4 天前

刚好最近在找这方面的资料,太及时了。

回复
蓝归舟4 天前

很有价值的分享,感谢整理。

回复
石佳琪4 天前

有没有更详细的教程,期待后续。

回复