将最大推理强度设为默认值并非明智之举:思考得更多,模型表现可能更差

📌 One-Sentence Summary
文章指出,将最大推理强度设为默认值会浪费 token、增加成本,还可能降低模型处理常规任务的准确率;建议采用经过校准的低强度默认设置,并针对特定任务有选择地提高推理强度。
📝 Summary
本文对将最大推理强度设为 AI 模型默认设置的常见做法提出质疑。作者援引近期的 3 篇研究论文,说明过度推理往往会在简单问题上浪费 token,在某些任务中甚至会降低准确率;智能体采取行动的表现也优于反复思虑。研究显示,推理越多、表现反而越差的反向缩放现象确实存在。作者因此主张,应将推理强度视为可调节的超参数,根据具体工作负载进行校准,而不是一概而论。
💡 Main Points
最大推理强度会在简单任务上浪费 token
腾讯 AI 实验室的研究显示,相较于传统模型,o1 风格的模型在计算 2+3 时使用的 token 多出 1,953%;而 92% 的正确答案在第一轮解题中就已得出,这表明在简单问题上,大部分推理都是多余的。
更多推理可能降低某些任务的准确率
Anthropic 的「测试时计算中的反向缩放」论文表明,在干扰项任务、约束跟踪谜题和安全评测中,推理长度增加时准确率反而下降。这说明延长推理可能会放大有缺陷的启发式方法,而非使其得到改进。
过度思考的智能体解决的问题少于采取行动的智能体
对 4,000 条 SWE-bench Verified 执行轨迹的分析显示,采用高推理强度的 o1 仅解决了 29.1% 的问题,成本为 $1,400;而采用低推理强度并结合采样后择优的方法,问题解决率达到 30.3%,成本还低 $200。原生函数调用的影响甚至更大。
厂商文档建议默认采用较低的推理强度
Anthropic 和 OpenAI 都建议大多数任务从低或中等推理强度开始设置。最大推理强度只针对能力进行优化,而不考虑 token 成本;它带来的质量提升往往很小,却会显著增加延迟和成本。
校准推理强度的实用清单
作者建议将推理强度视为超参数,在多个强度级别上开展评测;将简单请求路由到低强度设置;在评测中加入干扰项测试;记录每次请求消耗的推理 token 数量;并在每次模型升级后重新测试。
💬 Key Quotes
如果你的 AI 功能对每个请求都采用最大推理强度,你买到的不是更高质量,而是更长的延迟、更高的成本,以及在某些任务上更差的答案。
延长推理「可能会放大有缺陷的启发式方法」,而非使其得到改进。
推理强度是一个调节旋钮,不是质量开关。
从低强度开始,在不同强度下进行测量。只有当评测证明值得投入时,才让模型多思考。
📊 Article Meta
AI Screening: 88
Source: DEV Community: machinelearning
Author: M.T.Ramkrushna
Category: 人工智能
Language: 英文
Read Time: 7 min
Word Count: 1566
Tags:
AI 与智能应用 , AI 工程 , 推理模型 , AI Agent , 提示工程
赞同,实践出真知。
收藏了,以后慢慢研究。
看完了,收获满满,期待更多更新。
讲解得很细致,新手也能看懂。
这个比较实用,已转发给同事。
很有价值的分享,感谢整理。
写得挺用心的,支持一下。
整理得太全面了,省了我不少时间。
讲解得很细致,新手也能看懂。
有没有更详细的教程,期待后续。
路过
有没有更详细的教程,期待后续。