LLM 的知识蒸馏如何运作?

📌 One-Sentence Summary
文章介绍了 LLM 知识蒸馏的四种主要方法——Logit 蒸馏、序列级蒸馏、在线策略蒸馏和隐状态蒸馏,并分析了它们的权衡与成本影响,为如何选择合适的方法提供了实用建议。
📝 Summary
本文全面介绍了大型语言模型的知识蒸馏技术,讲解了四种主要类型:Logit 蒸馏(使用经过温度缩放的 KL 散度匹配教师模型的概率分布)、序列级蒸馏(基于教师模型生成的文本进行微调)、在线策略蒸馏(使用教师模型为学生模型生成的输出评分,并据此训练)以及隐状态蒸馏(匹配内部表示)。文章以将 Qwen3-32B 蒸馏到 Qwen3-1.7B 为例,分析了各方法的计算成本,指出如果教师模型只需调用一次,序列级蒸馏最具成本效益;而 Logit 蒸馏和在线策略蒸馏则需要反复调用教师模型。文章还根据教师模型的可访问性、预算限制和模型架构等因素,提供了方法选择建议,并介绍了 Nodus 平台的实现细节。
💡 Main Points
四种不同的蒸馏方法针对不同的学习信号和数据来源
Logit 蒸馏使用经过温度缩放的 KL 散度匹配完整的概率分布;序列级蒸馏基于教师模型生成的文本进行微调;在线策略蒸馏使用教师模型评分的学生模型输出进行训练;隐状态蒸馏则匹配教师模型与学生模型之间的内部表示。
教师模型访问受限或成本高昂时,序列级蒸馏最具成本效益
以 Qwen3-32B 为教师模型时,序列级蒸馏训练 2 个 epoch 的成本为 $21.88,而 Logit 蒸馏为 $37.83,在线策略蒸馏为 $39.80。这是因为教师模型只需调用一次来生成训练数据,而不必在每个 epoch 中反复调用。
温度缩放能保留低概率 Token 中的信息,从而实现 Logit 蒸馏
将 Logit 除以温度 T > 1 会使概率分布变得更平缓,让软目标的梯度包含有意义的信号;再将 KL 项乘以 T²,使其与真实 Token 上的交叉熵损失保持平衡。
隐状态蒸馏要求教师模型与学生模型在架构上对齐
特征蒸馏需要对齐教师模型与学生模型的层和隐藏维度,因此只有在从头设计学生模型架构时才切实可行。DistilBERT 和 TinyBERT 展示了这种方法:DistilBERT 的模型体积缩小 40%,性能达到 97%;TinyBERT 的模型体积缩小 7.5x,GLUE 得分达到 96.8%。
选择蒸馏方法时,应考虑教师模型的可访问性、预算和质量要求
如果使用闭源 API 或 Tokenizer 不同,可采用序列级蒸馏;如果要训练多个 epoch 或使用大型数据集,可先从序列级蒸馏入手;如果教师模型可开放访问且双方使用相同的 Tokenizer,并且质量要求较高,可采用 Logit 蒸馏;如果学生模型在长输出上出现偏移,可加入在线策略阶段;隐状态蒸馏则适用于定制架构。
💬 Key Quotes
知识蒸馏通过训练一个小型学生模型来模仿大型教师模型:要么匹配教师模型对下一个 Token 给出的完整概率分布,要么基于教师模型生成的文本进行微调。
关键在于温度。在进行 softmax 之前,将两个模型的 Logit 都除以一个大于 1 的温度 T,这会使概率分布变得更平缓,让小概率也能传递信号。
序列级蒸馏不需要 Logit。教师模型会针对你的提示词生成完整回答,学生模型再将这些回答当作普通标注数据进行微调。
每一笔费用中,教师模型的计算成本占了大头;只有序列级蒸馏只需为此付费一次。
先根据你能从教师模型获取什么来选择,再考虑预算。
📊 Article Meta
AI Screening: 88
Source: DEV Community: machinelearning
Author: Viswaretas Kotra
Category: 人工智能
Language: 英文
Read Time: 7 min
Word Count: 1704
Tags:
AI 与智能应用 , 机器学习 , 模型训练与推理 , AI 工程 , 模型蒸馏
实测过类似工具,作者说的基本属实。
点赞,必须点赞
支持作者,持续关注中。
内容翔实,正好需要,先收藏再看。
赞同,实践出真知。
实话,说的不明不白
楼主辛苦了,内容很有参考价值。
路过
支持作者,持续关注中。
支持作者,持续关注中。
内容翔实,正好需要,先收藏再看。
思路清晰,干货满满。