MuonGS:通过松弛的权重范数控制,从 LLM 预训练中再挤出 15% 的速度提升

📌 One-Sentence Summary
一种新的优化器 MuonGS 通过使用 Gram-Schmidt 投影来管理权重范数的增长,无需刚性约束,从而将 LLM 预训练效率提升了 15%。
📝 Summary
文章介绍了 MuonGS,这是 Muon 优化器家族中的一项改进,旨在解决「有效学习率衰减」问题。与使用权重衰减(MuonW)或硬性截断(MuonH)从而可能过度约束模型的前代方法不同,MuonGS 使用 Gram-Schmidt 投影来移除更新中的径向分量。这使得权重范数以平方根速率而非线性速率增长,从而在训练过程中保持更高的探索能量。实证结果显示,在稠密模型和混合专家(MoE)架构中均实现了 15% 的 token 等效加速。
💡 Main Points
解决有效学习率衰减问题
在标准 Muon 优化器中,权重矩阵线性增长,导致有效学习率缩小,并在长时间训练中停滞对损失景观的探索。
用于范数控制的 Gram-Schmidt 投影
MuonGS 识别并移除更新中的径向分量,确保在 Frobenius 内积空间中权重变化与当前权重正交。
平方根增长动态
通过移除一阶范数变化,权重范数以与 sqrt(t) 成正比的速率增长,相比线性增长提供了更稳健的累积有效学习率。
跨多种架构的实证效率提升
与硬性截断方法相比,MuonGS 在稠密模型中实现了 15% 的 token 等效加速,并在 MoE 架构中展现出强劲性能。
💬 Key Quotes
在大语言模型(LLM)预训练这个高风险的世界里,效率就是一切。
MuonGS 的核心创新在于使用 Gram-Schmidt(GS)投影来移除每次更新中的径向分量。
从数学上讲,这意味着权重范数以与训练步数的平方根(sqrt(t))成正比的速率增长,而不是像原版 Muon 那样线性增长(t)。
📊 Article Meta
AI Screening: 89
Source: DEV Community: machinelearning
Author: Prabhakar Chaudhary
Category: 人工智能
Language: 英文
Read Time: 4 min
Word Count: 840
Tags:
AI 与智能应用 , 机器学习 , AI 工程 , 混合专家模型 , 大语言模型 (LLM)
这个观点很中肯,深有同感。
这个比较实用,已转发给同事。
赞同,实践出真知。
赞同,实践出真知。
刚好最近在找这方面的资料,太及时了。
赞同,实践出真知。
实测过类似工具,作者说的基本属实。
内容翔实,正好需要,先收藏再看。
收藏了,以后慢慢研究。
写得挺用心的,支持一下。
有没有更详细的教程,期待后续。
点赞,必须点赞