MuonGS:通过松弛的权重范数控制,从 LLM 预训练中再挤出 15% 的速度提升

云向阳AI 前沿📡 BestBlogs·AI高分精选⭐ 892026-10-30545 阅读💛 186 收藏
MuonGS:通过松弛的权重范数控制,从 LLM 预训练中再挤出 15% 的速度提升

📌 One-Sentence Summary

一种新的优化器 MuonGS 通过使用 Gram-Schmidt 投影来管理权重范数的增长,无需刚性约束,从而将 LLM 预训练效率提升了 15%。

📝 Summary

文章介绍了 MuonGS,这是 Muon 优化器家族中的一项改进,旨在解决「有效学习率衰减」问题。与使用权重衰减(MuonW)或硬性截断(MuonH)从而可能过度约束模型的前代方法不同,MuonGS 使用 Gram-Schmidt 投影来移除更新中的径向分量。这使得权重范数以平方根速率而非线性速率增长,从而在训练过程中保持更高的探索能量。实证结果显示,在稠密模型和混合专家(MoE)架构中均实现了 15% 的 token 等效加速。

💡 Main Points

解决有效学习率衰减问题

在标准 Muon 优化器中,权重矩阵线性增长,导致有效学习率缩小,并在长时间训练中停滞对损失景观的探索。

用于范数控制的 Gram-Schmidt 投影

MuonGS 识别并移除更新中的径向分量,确保在 Frobenius 内积空间中权重变化与当前权重正交。

平方根增长动态

通过移除一阶范数变化,权重范数以与 sqrt(t) 成正比的速率增长,相比线性增长提供了更稳健的累积有效学习率。

跨多种架构的实证效率提升

与硬性截断方法相比,MuonGS 在稠密模型中实现了 15% 的 token 等效加速,并在 MoE 架构中展现出强劲性能。

💬 Key Quotes

在大语言模型(LLM)预训练这个高风险的世界里,效率就是一切。

MuonGS 的核心创新在于使用 Gram-Schmidt(GS)投影来移除每次更新中的径向分量。

从数学上讲,这意味着权重范数以与训练步数的平方根(sqrt(t))成正比的速率增长,而不是像原版 Muon 那样线性增长(t)。

📊 Article Meta

AI Screening: 89

Source: DEV Community: machinelearning

Author: Prabhakar Chaudhary

Category: 人工智能

Language: 英文

Read Time: 4 min

Word Count: 840

Tags:

AI 与智能应用 , 机器学习 , AI 工程 , 混合专家模型 , 大语言模型 (LLM)

#AI 与智能应用# 机器学习# AI 工程# 混合专家模型# 大语言模型 (LLM)

文章评论(12)

风倚栏16 天前

这个观点很中肯,深有同感。

回复
蒋力16 天前

这个比较实用,已转发给同事。

回复
雪知秋16 天前

赞同,实践出真知。

回复
逐光而行17 天前

赞同,实践出真知。

回复
郭超16 天前

刚好最近在找这方面的资料,太及时了。

回复
蒋力16 天前

赞同,实践出真知。

回复
墨沐雨16 天前

实测过类似工具,作者说的基本属实。

回复
蓝归舟16 天前

内容翔实,正好需要,先收藏再看。

回复
蓝归舟16 天前

收藏了,以后慢慢研究。

回复
林拾贝16 天前

写得挺用心的,支持一下。

回复
蓝光16 天前

有没有更详细的教程,期待后续。

回复
石佳琪16 天前

点赞,必须点赞

回复