模型卡写着 0.5B,检查点存储的是 494M。两者都没错。

📌 One-Sentence Summary
文章解释了为什么 Qwen2.5-0.5B 的不同参数量(0.5B 与 494M)都可能是正确的:关键在于区分存储参数量、架构参数量和激活参数量,并提供了验证方法。
📝 Summary
文章通过区分三种不同的衡量方式,澄清了模型仓库中参数量引发的困惑:存储参数量(检查点中实际保存的参数)、架构参数量(由模型架构推算出的参数量),以及每个 token 的激活参数量(前向传播中实际使用的参数量)。以 Qwen2.5-0.5B 为例,文章说明,词嵌入权重共享会使存储参数量比架构参数量少 27.6%。对于 Mixtral-8x7B 这类混合专家模型,每个 token 的存储参数量则是激活参数量的 3.6-5.3 倍。文章还提供了一段 Python 脚本来验证这些参数量,并指出,计算每参数比特数时,正确的衡量方式是用磁盘上的字节数除以存储参数量。
💡 Main Points
参数量会因衡量对象不同而合理地有所差异
文章区分了三种合理的衡量方式:存储参数量(检查点中的实际字节数)、架构参数量(由配置推算出的参数量)和每个 token 的激活参数量(推理时实际使用的参数量)。对于权重共享的模型,存储参数量更少;对于 MoE 模型,每个 token 的激活参数量则远少于存储参数量。
权重共享会导致存储参数量与架构参数量不同
Qwen2.5-0.5B 等模型会在输入层和输出层之间共享嵌入矩阵,因此架构参数量会将其计算两次,而检查点只存储一次,由此产生 21-27.6% 的差距。
混合专家模型的存储参数量与激活参数量可能相差很大
MoE 模型会存储所有专家,但每个 token 只激活其中一部分,因此存储参数量与激活参数量相差 3.6-5.3 倍,Mixtral-8x7B 和 Qwen1.5-MoE-A2.7B 都体现了这一点。
验证脚本可以根据配置文件核对参数量
文章提供了一段 15 行的 Python 脚本,根据 config.json 重新计算参数量,并与 Hugging Face 报告的 safetensors.total 进行比较。若结果存在非零残差,说明模型还有尚未计入的特性。
💬 Key Quotes
Qwen2.5-0.5B 的配置将其词表大小乘以隐藏维度所得的矩阵声明了两次:一次作为嵌入表,一次作为输出头。它的检查点只存储了这个矩阵一次。这两种说法都没错,两者相差 136,134,656 个参数,占仓库中全部参数的 27.6%。
有问题的是这种比较,因为「参数量是多少」其实有三种答案,而检查点又让人很容易把其中一个答案各握在一只手里。
要计算每参数比特数,有意义的组合是磁盘上的字节数除以存储参数量,因为这两个数字描述的是同一个数据对象。
残差非零,意味着模型还做了你的公式尚未考虑到的事情;因此,这项检查告诉你的是代码本身的情况,而不是仓库的情况。
📊 Article Meta
AI Screening: 85
Source: DEV Community: machinelearning
Author: pm25coder
Category: 人工智能
Language: 英文
Read Time: 5 min
Word Count: 1206
Tags:
AI 与智能应用 , 模型训练与推理 , AI 工程 , 模型发布 , 阿里通义
看完了,收获满满,期待更多更新。
内容翔实,正好需要,先收藏再看。
这个观点很中肯,深有同感。
赞同,实践出真知。
这个比较实用,已转发给同事。
有没有更详细的教程,期待后续。
很有价值的分享,感谢整理。
点赞,必须点赞
刚好最近在找这方面的资料,太及时了。
收藏了,以后慢慢研究。
内容翔实,正好需要,先收藏再看。
实话,说的不明不白