501B 存储，23B 唤醒：Reflection 的光束对自托管构建者的意义

📌 One-Sentence Summary

对 way 的 501B MoE 模型的实证评估表明，增加“推理投入”很少能在复杂逻辑谜题之外提高准确率，却会显著推高推理成本和内存需求。

📝 Summary

本文讨论了“推理拨盘”（Reasoning Dial）基准测试，该测试涵盖了四种大语言模型（gpt-5.4-mini、Gemini-3.7-flash、Claude-haiku-5.5 以及自定义 MoE 模型）的 `reasoning_effort` API。结果显示，尽管将推理设置为“高”能大幅提升 gpt-5.4-mini 在演绎任务上的准确率，但 75% 的模型-任务组合在每条回答成本增加 1.5 倍到 3.4 倍的情况下，准确率却保持平平。该研究还强调了不同平台在处理此参数时存在严重的供应商不一致性。

💡 Main Points

推理投入参数缺乏行业标准一致性

不同供应商对“推理投入”拨盘的解读不同；有些扩展 Token 数量，有些返回 400 错误，而另一些在设置为“无”时也会进行隐藏思考。

高推理投入对非演绎任务的收益递减

在测试的 12 种组合中，仅一种显示出统计学意义上的准确率提升，而大多数组合表现平稳，且每个正确答案的 Token 成本大幅增加。

需要确定性评估以避免偏差

该基准测试使用 ing-256 哈希值锁定测试集，并采用基于艺术品的提取方法，以避免使用基于 LLM 的裁判时固有的不一致性。

💬 Key Quotes

「推理拨盘有时非常重要。但大多数时候它只是让账单更贵。」

「在 12 种模型-任务组合中的 7 种中，准确率没有变化，每个正确答案的成本增加了 1.5 到 3.4 倍。」

「将推理设置为‘高’仅产生了一种统计学意义上的准确率提升（gpt-5.4-mini 在演绎任务上，从 15% 跃升至 97.5%）。」

📊 Article Meta

AI Screening： 86

Source： DEV Community: machinelearning

Author： Shivam Kumar

Category： 人工智能

Language： 英文

Read Time： 2 min

Word Count： 434

Tags：

AI 与智能应用 , AI 工程 , 机器学习 , 混合专家模型 , 大语言模型 (LLM)