模型卡写着 0.5B,检查点存储的是 494M。两者都没错。

AI小蝌蚪AI 前沿📡 BestBlogs·AI高分精选⭐ 852026-11-06113 阅读💛 215 收藏
模型卡写着 0.5B,检查点存储的是 494M。两者都没错。

📌 One-Sentence Summary

文章解释了为什么 Qwen2.5-0.5B 的不同参数量(0.5B 与 494M)都可能是正确的:关键在于区分存储参数量、架构参数量和激活参数量,并提供了验证方法。

📝 Summary

文章通过区分三种不同的衡量方式,澄清了模型仓库中参数量引发的困惑:存储参数量(检查点中实际保存的参数)、架构参数量(由模型架构推算出的参数量),以及每个 token 的激活参数量(前向传播中实际使用的参数量)。以 Qwen2.5-0.5B 为例,文章说明,词嵌入权重共享会使存储参数量比架构参数量少 27.6%。对于 Mixtral-8x7B 这类混合专家模型,每个 token 的存储参数量则是激活参数量的 3.6-5.3 倍。文章还提供了一段 Python 脚本来验证这些参数量,并指出,计算每参数比特数时,正确的衡量方式是用磁盘上的字节数除以存储参数量。

💡 Main Points

参数量会因衡量对象不同而合理地有所差异

文章区分了三种合理的衡量方式:存储参数量(检查点中的实际字节数)、架构参数量(由配置推算出的参数量)和每个 token 的激活参数量(推理时实际使用的参数量)。对于权重共享的模型,存储参数量更少;对于 MoE 模型,每个 token 的激活参数量则远少于存储参数量。

权重共享会导致存储参数量与架构参数量不同

Qwen2.5-0.5B 等模型会在输入层和输出层之间共享嵌入矩阵,因此架构参数量会将其计算两次,而检查点只存储一次,由此产生 21-27.6% 的差距。

混合专家模型的存储参数量与激活参数量可能相差很大

MoE 模型会存储所有专家,但每个 token 只激活其中一部分,因此存储参数量与激活参数量相差 3.6-5.3 倍,Mixtral-8x7B 和 Qwen1.5-MoE-A2.7B 都体现了这一点。

验证脚本可以根据配置文件核对参数量

文章提供了一段 15 行的 Python 脚本,根据 config.json 重新计算参数量,并与 Hugging Face 报告的 safetensors.total 进行比较。若结果存在非零残差,说明模型还有尚未计入的特性。

💬 Key Quotes

Qwen2.5-0.5B 的配置将其词表大小乘以隐藏维度所得的矩阵声明了两次:一次作为嵌入表,一次作为输出头。它的检查点只存储了这个矩阵一次。这两种说法都没错,两者相差 136,134,656 个参数,占仓库中全部参数的 27.6%。

有问题的是这种比较,因为「参数量是多少」其实有三种答案,而检查点又让人很容易把其中一个答案各握在一只手里。

要计算每参数比特数,有意义的组合是磁盘上的字节数除以存储参数量,因为这两个数字描述的是同一个数据对象。

残差非零,意味着模型还做了你的公式尚未考虑到的事情;因此,这项检查告诉你的是代码本身的情况,而不是仓库的情况。

📊 Article Meta

AI Screening: 85

Source: DEV Community: machinelearning

Author: pm25coder

Category: 人工智能

Language: 英文

Read Time: 5 min

Word Count: 1206

Tags:

AI 与智能应用 , 模型训练与推理 , AI 工程 , 模型发布 , 阿里通义

#AI 与智能应用# 模型训练与推理# AI 工程# 模型发布# 阿里通义

文章评论(12)

墨沐雨9 天前

看完了,收获满满,期待更多更新。

回复
蓝临风9 天前

内容翔实,正好需要,先收藏再看。

回复
蓝归舟9 天前

这个观点很中肯,深有同感。

回复
月沐雨9 天前

赞同,实践出真知。

回复
风拾光9 天前

这个比较实用,已转发给同事。

回复
青柠微凉9 天前

有没有更详细的教程,期待后续。

回复
月归舟9 天前

很有价值的分享,感谢整理。

回复
墨沐雨9 天前

点赞,必须点赞

回复
北岛渔夫9 天前

刚好最近在找这方面的资料,太及时了。

回复
一叶知秋9 天前

收藏了,以后慢慢研究。

回复
曹浩9 天前

内容翔实,正好需要,先收藏再看。

回复
杨丽华9 天前

实话,说的不明不白

回复