在 LLM 后训练中,删除权重的效果出乎意料地好

📌 One-Sentence Summary
论文提出「删除调优」方法,仅将少于 0.05% 的 LLM 权重置零,就能达到与全量微调相当的性能,同时显著提升存储效率并缓解灾难性遗忘。
📝 Summary
研究人员提出了一种面向大语言模型(LLM)的新型后训练技术「删除调优」,通过学习 Transformer 模块门控投影上的二值掩码来实现。值得注意的是,将少于 0.05% 的权重置零,就能在强化学习、监督微调和在线策略蒸馏等场景中达到与全量微调(FFT)相当的性能。这种方法有两项重要的实用优势:生成的掩码比完整检查点小几个数量级;同时,它能显著减少灾难性遗忘——在全量微调、LoRA 和随机稀疏微调无法保留既有任务准确率的情况下,仍能维持这一准确率。研究还分析了这些权重变化的几何特性,发现删除调优在权重变化几何结构上与全量微调十分相似。
💡 Main Points
删除调优仅需极少的权重改动,就能达到与全量微调(FFT)相当的效果
通过在门控投影上学习二值掩码并将少于 0.05% 的权重置零,该方法在强化学习、监督微调和蒸馏场景中都能达到与 FFT 相当的性能。
存储效率极高
训练得到的二值掩码比标准 FFT 检查点小数百至数千倍,因此在部署和分发方面效率很高。
更有效地缓解灾难性遗忘
在强化学习场景中,删除调优能将既有任务的准确率维持在接近基础水平;而 FFT、LoRA 和随机稀疏微调的准确率可能下降多达 5.4 个点。
在几何结构上与全量微调相契合
通过分析稳定秩、谱漂移和主要权重重叠,研究发现,删除调优引起的权重变化在几何结构上比 LoRA 或随机稀疏方法更接近 FFT。
💬 Key Quotes
我们发现,在不做其他改动的情况下,将模型少于 0.05% 的权重置零,就能在三种 LLM 后训练场景中达到与全量微调(FFT)相当的效果。
训练得到的掩码比对应的 FFT 检查点小数百至数千倍,而且删除调优的遗忘程度低得多,这有助于应对持续学习中的一项核心挑战。
📊 Article Meta
AI Screening: 86
Source: Hacker News - Newest: "LLM"
Author: theanonymousone
Category: 人工智能
Language: 英文
Read Time: 2 min
Word Count: 304
Tags:
AI 与智能应用 , 模型训练与推理 , 后训练 , 机器学习 , 持续学习
写得挺用心的,支持一下。
写得挺用心的,支持一下。
这篇文章分析得很透彻,收藏了!
路过
点赞,必须点赞
整理得太全面了,省了我不少时间。
实测过类似工具,作者说的基本属实。
不错不错,已加入书签。
这个观点很中肯,深有同感。
刚好最近在找这方面的资料,太及时了。
很有价值的分享,感谢整理。
有没有更详细的教程,期待后续。