LLM 的知识蒸馏如何运作?

邱宇AI 前沿📡 BestBlogs·AI高分精选⭐ 882026-11-14168 阅读💛 143 收藏
LLM 的知识蒸馏如何运作?

📌 One-Sentence Summary

文章介绍了 LLM 知识蒸馏的四种主要方法——Logit 蒸馏、序列级蒸馏、在线策略蒸馏和隐状态蒸馏,并分析了它们的权衡与成本影响,为如何选择合适的方法提供了实用建议。

📝 Summary

本文全面介绍了大型语言模型的知识蒸馏技术,讲解了四种主要类型:Logit 蒸馏(使用经过温度缩放的 KL 散度匹配教师模型的概率分布)、序列级蒸馏(基于教师模型生成的文本进行微调)、在线策略蒸馏(使用教师模型为学生模型生成的输出评分,并据此训练)以及隐状态蒸馏(匹配内部表示)。文章以将 Qwen3-32B 蒸馏到 Qwen3-1.7B 为例,分析了各方法的计算成本,指出如果教师模型只需调用一次,序列级蒸馏最具成本效益;而 Logit 蒸馏和在线策略蒸馏则需要反复调用教师模型。文章还根据教师模型的可访问性、预算限制和模型架构等因素,提供了方法选择建议,并介绍了 Nodus 平台的实现细节。

💡 Main Points

四种不同的蒸馏方法针对不同的学习信号和数据来源

Logit 蒸馏使用经过温度缩放的 KL 散度匹配完整的概率分布;序列级蒸馏基于教师模型生成的文本进行微调;在线策略蒸馏使用教师模型评分的学生模型输出进行训练;隐状态蒸馏则匹配教师模型与学生模型之间的内部表示。

教师模型访问受限或成本高昂时,序列级蒸馏最具成本效益

以 Qwen3-32B 为教师模型时,序列级蒸馏训练 2 个 epoch 的成本为 $21.88,而 Logit 蒸馏为 $37.83,在线策略蒸馏为 $39.80。这是因为教师模型只需调用一次来生成训练数据,而不必在每个 epoch 中反复调用。

温度缩放能保留低概率 Token 中的信息,从而实现 Logit 蒸馏

将 Logit 除以温度 T > 1 会使概率分布变得更平缓,让软目标的梯度包含有意义的信号;再将 KL 项乘以 T²,使其与真实 Token 上的交叉熵损失保持平衡。

隐状态蒸馏要求教师模型与学生模型在架构上对齐

特征蒸馏需要对齐教师模型与学生模型的层和隐藏维度,因此只有在从头设计学生模型架构时才切实可行。DistilBERT 和 TinyBERT 展示了这种方法:DistilBERT 的模型体积缩小 40%,性能达到 97%;TinyBERT 的模型体积缩小 7.5x,GLUE 得分达到 96.8%。

选择蒸馏方法时,应考虑教师模型的可访问性、预算和质量要求

如果使用闭源 API 或 Tokenizer 不同,可采用序列级蒸馏;如果要训练多个 epoch 或使用大型数据集,可先从序列级蒸馏入手;如果教师模型可开放访问且双方使用相同的 Tokenizer,并且质量要求较高,可采用 Logit 蒸馏;如果学生模型在长输出上出现偏移,可加入在线策略阶段;隐状态蒸馏则适用于定制架构。

💬 Key Quotes

知识蒸馏通过训练一个小型学生模型来模仿大型教师模型:要么匹配教师模型对下一个 Token 给出的完整概率分布,要么基于教师模型生成的文本进行微调。

关键在于温度。在进行 softmax 之前,将两个模型的 Logit 都除以一个大于 1 的温度 T,这会使概率分布变得更平缓,让小概率也能传递信号。

序列级蒸馏不需要 Logit。教师模型会针对你的提示词生成完整回答,学生模型再将这些回答当作普通标注数据进行微调。

每一笔费用中,教师模型的计算成本占了大头;只有序列级蒸馏只需为此付费一次。

先根据你能从教师模型获取什么来选择,再考虑预算。

📊 Article Meta

AI Screening: 88

Source: DEV Community: machinelearning

Author: Viswaretas Kotra

Category: 人工智能

Language: 英文

Read Time: 7 min

Word Count: 1704

Tags:

AI 与智能应用 , 机器学习 , 模型训练与推理 , AI 工程 , 模型蒸馏

#AI 与智能应用# 机器学习# 模型训练与推理# AI 工程# 模型蒸馏

文章评论(12)

星知秋1 天前

实测过类似工具,作者说的基本属实。

回复
雪知秋1 天前

点赞,必须点赞

回复
竹听风1 天前

支持作者,持续关注中。

回复
一个橘子1 天前

内容翔实,正好需要,先收藏再看。

回复
风倚栏1 天前

赞同,实践出真知。

回复
蓝归舟1 天前

实话,说的不明不白

回复
南山客1 天前

楼主辛苦了,内容很有参考价值。

回复
龙文博1 天前

路过

回复
星知秋1 天前

支持作者,持续关注中。

回复
一叶知秋1 天前

支持作者,持续关注中。

回复
陈皮话梅糖1 天前

内容翔实,正好需要,先收藏再看。

回复
墨沐雨1 天前

思路清晰,干货满满。

回复