持续学习为何仍未解决:SFT、蒸馏与 RL 的取舍

📌 One-Sentence Summary
Charlie O’Neill 解释持续学习中的训练难题:SFT 能注入知识却会遗忘,RL 较少破坏能力却难写入新知识,需要按任务组合。
📝 Summary
Baseten 模型训练负责人 Charlie O’Neill 拆解了收集智能体轨迹、评估、更新权重并重新部署的学习循环。SFT 能提供新信息,但教师轨迹不包含学生模型自己的失误,反复更新还可能遗忘旧知识、削弱通用能力。按其报告的经验,RL 从模型自身采样中学习,较少损伤已有能力,却受成功轨迹可采样性的限制,也难将具体新事实写入权重。他介绍实验观察:蒸馏能提高起点,却可能降低后续 RL 的最终平台,结果依赖任务与算力。分布稳定的窄任务比知识不断变化的通用智能体容易。前沿实验室已在较慢周期上组合这些方法,团队需要根据自身任务选择比例,不能假设持续学习已经解决。
💡 Main Points
SFT 能补知识,却未教会模型应对自己的错误
教师生成的轨迹提供密集监督,但较小的部署模型可能进入示例从未涵盖的错误状态。
RL 受模型可采样轨迹的限制
奖励能提高已有成功轨迹的概率,但成功样本极少、或需注入具体新知识时,学习会遇到实际瓶颈。
蒸馏可能用最终上限换取更高起点
O’Neill 报告的任务相关实验表明,蒸馏热启动更早见效,但充分训练后的结果可能不如纯 RL。
持续学习需要适配任务的组合
反复 SFT 会遗忘早期知识并损伤通用能力,广泛且变化的任务因此需要谨慎组合方法并持续评估。
💬 Key Quotes
没有完美的解决方案。
这真的非常困难,你做的每件事都有问题和取舍。
只是在那个规模下,我们不必担心灾难性遗忘、通用能力退化,以及我前面提到的那些崩溃问题。
📊 Article Meta
AI Screening: 90
Featured: Yes
Source: LangChain
Author: LangChain
Category: 人工智能
Language: 英文
Read Time: 17 min
Word Count: 4211
Tags:
AI 与智能应用 , 持续学习 , 强化学习 , 视频 , 监督微调
Play Full Video
路过
作者写得真不错,学到了不少。
很有价值的分享,感谢整理。
看标题就点进来了,内容果然没让人失望。
收藏了,以后慢慢研究。
收藏了,以后慢慢研究。
看标题就点进来了,内容果然没让人失望。
整理得太全面了,省了我不少时间。
点赞,必须点赞
这个观点很中肯,深有同感。
实测过类似工具,作者说的基本属实。
这篇文章分析得很透彻,收藏了!