你的 AI 评分者仅有其答案金表般可靠

📌 One-Sentence Summary

一项涵盖 77 项研究的综合分析表明，AI 评分者在未能正确回答的问题上表现出最高的不可靠性，并呈现显著的假阳性偏差；实施一个经过验证的答案金表至关重要，以减轻这些错误。

📝 Summary

AI 评分者的可靠性从根本上取决于其解决底层问题的能力。如果没有经过验证的答案金表，评分者会出现强烈的倾向，错误地通过那些失败的响应，尤其是在复杂或特定领域的题目上。研究表明，虽然 'reasoning_effort' 参数可以提高某些逻辑谜题的性能，但它经常导致其他任务类型的成本上升而无助于提高精度。此外，不同厂商对这些参数的解读差异凸显了制定标准化评估协议的必要性。

💡 Main Points

Reasoning_effort 参数在不同模型提供商之间是根本不一致的

厂商对 'reasoning_effort' 旋钮的解读存在差异，导致对令牌计数和模型行为产生不同影响。例如，一些模型拒绝 'none' 设置，而另一些模型则不管指定的努力水平如何，都会进行内部思考，从而导致该领域缺乏标准化。

高推理努力在非演绎任务上仅带来最小的精度增益，同时却膨胀了成本

增加推理努力参数并不能始终提高任务准确性，尤其是对于非演绎性问题。在许多情况下，这会导致单次正确答案的成本显著增加（高达 3.4 倍），而性能没有相应提升，使其成为一种低效的通用策略。

严格的、确定性的评估流程防止了 LLM 判断者的偏见和数据泄露

为了确保准确的基准测试，本研究采用严格的评估流程，包括由 SHA-256 哈希锁定的代码生成项、预注册的假设以及基于正则表达式的答案提取。这种方法消除了主观偏差，并确保结果基于客观、可复现的数据。

💬 Key Quotes

在 4 个模型上超过 1，800 次评分调用中，high 仅取得一项统计意义上的真实精度提升：gpt-5.4-mini 在逻辑谜题上，从 15% 提高到 97.5%。

在 12 个模型 × 任务单元中的 7 个单元中，精度没有变化，而单次正确答案的成本上升了 1.5 倍到 3.4 倍。

推理旋钮有时候确实很重要。大多数时候它只会让账单更贵。

纯文本结合我自己的解析器是唯一在四个厂商中表现一致的方法。

📊 Article Meta

AI Screening： 90

Source： DEV Community: machinelearning

Author： Harry Floyd

Category： 人工智能

Language： 英文

Read Time： 12 min

Word Count： 2869

Tags：

AI 与智能应用 , AI 工程 , AI & Intelligent Applications , 大型语言模型 , LLM 推断