选择最长答案在 OpenBookQA 上得分 43%,在 ARC 上接近随机:逐基准的长度捷径普查

📌 One-Sentence Summary
本研究量化了多项选择基准中的「长度捷径」,发现 OpenBookQA 允许通过选择最长选项获得显著的 43% 准确率,而 ARC-Easy 和 ARC-Challenge 则没有这种优势,准确率接近随机基线。
📝 Summary
该研究调查了科学问答基准中正确答案为最长选项的频率,以及这是否可以被利用。研究揭示,在 OpenBookQA 中,金标准答案在 39.10% 的情况下是唯一最长的选项,导致「选最长」策略的准确率达到 43.35%。相比之下,ARC-Easy 和 ARC-Challenge 没有这种相关性,金标准答案仅在约 20% 的情况下是唯一最长选项,准确率接近预期的 25% 随机概率。
💡 Main Points
OpenBookQA 存在显著的长度捷径,使得「选最长」策略能达到 43.35% 的准确率。
在 OpenBookQA 中,近 40% 的问题的正确答案是唯一最长的选项,表明选项长度存在系统性偏差,可以被简单的启发式方法利用。
ARC-Easy 和 ARC-Challenge 没有表现出长度捷径;它们的准确率接近随机基线。
对于 ARC 基准,金标准答案仅在约 20-22% 的情况下是唯一最长选项,这在统计上与随机猜测无法区分。这表明这些基准中的选项在长度上得到了很好的平衡。
长度捷径的存在取决于具体数据集及其构建方式,而非主题内容。
数据表明,正确答案的长度在不同数据集之间差异显著(例如,OpenBookQA 中为 17.74 个字符,而 ARC-Challenge 中为 29.82 个字符)。这意味着该捷径是问题和选项编写方式(例如,众包 vs. 考试型)的产物,而不是科学问题的普遍属性。
💬 Key Quotes
多项选择基准中存在一个众所周知的捷径:正确选项往往是最长的那个,因此模型——或人——完全不需要理解问题,只需选择最长的答案就能获得远高于随机的分数。
📊 Article Meta
AI Screening: 85
Source: DEV Community: machinelearning
Author: munimv2
Category: 人工智能
Language: 英文
Read Time: 4 min
Word Count: 802
Tags:
AI 与智能应用 , 测试与质量 , 商业模式与战略 , 黄金与大宗商品 , 科学前沿
楼主辛苦了,内容很有参考价值。
楼主辛苦了,内容很有参考价值。
看标题就点进来了,内容果然没让人失望。
实测过类似工具,作者说的基本属实。
这篇文章分析得很透彻,收藏了!
收藏了,以后慢慢研究。
这个比较实用,已转发给同事。
讲解得很细致,新手也能看懂。
收藏了,以后慢慢研究。
思路清晰,干货满满。
支持作者,持续关注中。
整理得太全面了,省了我不少时间。