修改 LLM 输出层中的一行权重,阻止模型过度思考

📌 One-Sentence Summary
一种无需训练的方法通过线性探针检测模型何时已经得出正确答案,并修改 LLM 输出层中的单行权重来阻止过度思考,在保持准确率的同时最多可减少 54% 的 token 使用量。
📝 Summary
本文介绍了一种无需训练的技术,通过修改输出层中的单行权重来减少 LLM 的过度思考。该方法利用基于隐藏状态训练的线性探针,检测模型是否已经在思考过程中得出正确答案,然后修改停止 token 的 logit,以促使模型更早结束生成。在 Qwen3.5-4B 和 DeepSeek V4.1 Flash(763B)上进行的测试显示,该方法在 MATH-500 题目上将 token 使用量减少了 54%,在智能体任务上减少了 84%,同时保持准确率。具体做法是将隐藏状态的线性读出结果加到停止 token 的 logit 上,并根据模型自身的概率精确计算停止概率。该技术保留了其他所有 token 的分布,也无需改动模型架构、推理引擎或聊天模板。
💡 Main Points
只需修改一行权重,无需重新训练即可阻止 LLM 过度思考
通过在停止 token 的输出行中加入线性探针,模型可以识别自己何时已经找到正确答案、无需继续反复检查,从而在推理任务中最多减少 54% 的 token 使用量。
该方法通过检测答案出现后的段落结尾发挥作用
线性判别分析探针利用模型自身的隐藏状态,区分模型正在反复检查答案后的阶段与仍在解题的阶段,并据此决定是否停止。
在保持准确率的同时,大幅节省 token
在 MATH-500 题目上,Qwen3.5-4B 的思考 token 数从 30,452 降至 12,263(-60%);DeepSeek V4.1 Flash 则将反复检查所用的 token 从总计 39,946 个思考 token 中的 25,363 个降至 2,630 个。
减少上限抖动能显著提升智能体任务表现
修改后的模型消除了「上限抖动」这一失效模式:模型触及 token 上限时会从头重写整份草稿。步骤数因此从 36 降至 10,上下文重读量则从 885k 降至 64k 个 token。
停止概率可以根据原始模型的轨迹精确计算
利用闭式概率公式 P'(close|h) = σ(o + βg·h),该方法无需采样即可搜索有害的过早停止情况;搜索结果没有发现修改后的模型答错、而原始模型答对的案例。
💬 Key Quotes
将线性探针融入 `|||` 行后,模型便能根据自身的隐藏状态判断何时结束思考。
决策模型的成本最高可比前沿模型低 444.6x,速度快 193.6x,因此可以用它们来判断是否真的需要调用成本高昂的 LLM。
在生产环境中,98.7% 的请求会完全跳过 LLM 调用。
修改后的模型页面评分最高;在相同设置下,其思考量比原始模型减少了 84%。
原始模型有 63--70% 的思考都耗在一种我此前没见过相关描述的失效模式上,我把它称为「上限抖动」。
📊 Article Meta
AI Screening: 92
Source: Hacker News - Newest: "LLM"
Author: vaibhavarduino
Category: 人工智能
Language: 英文
Read Time: 14 min
Word Count: 3414
Tags:
AI 与智能应用 , 模型训练与推理 , AI 工程 , 模型路由 , 上下文工程
暂无评论,快来抢沙发~