选择最长答案在 OpenBookQA 上得分 43%,在 ARC 上接近随机:逐基准的长度捷径普查

AI小蝌蚪AI 前沿📡 BestBlogs·AI高分精选⭐ 852026-10-27471 阅读💛 242 收藏
选择最长答案在 OpenBookQA 上得分 43%,在 ARC 上接近随机:逐基准的长度捷径普查

📌 One-Sentence Summary

本研究量化了多项选择基准中的「长度捷径」,发现 OpenBookQA 允许通过选择最长选项获得显著的 43% 准确率,而 ARC-Easy 和 ARC-Challenge 则没有这种优势,准确率接近随机基线。

📝 Summary

该研究调查了科学问答基准中正确答案为最长选项的频率,以及这是否可以被利用。研究揭示,在 OpenBookQA 中,金标准答案在 39.10% 的情况下是唯一最长的选项,导致「选最长」策略的准确率达到 43.35%。相比之下,ARC-Easy 和 ARC-Challenge 没有这种相关性,金标准答案仅在约 20% 的情况下是唯一最长选项,准确率接近预期的 25% 随机概率。

💡 Main Points

OpenBookQA 存在显著的长度捷径,使得「选最长」策略能达到 43.35% 的准确率。

在 OpenBookQA 中,近 40% 的问题的正确答案是唯一最长的选项,表明选项长度存在系统性偏差,可以被简单的启发式方法利用。

ARC-Easy 和 ARC-Challenge 没有表现出长度捷径;它们的准确率接近随机基线。

对于 ARC 基准,金标准答案仅在约 20-22% 的情况下是唯一最长选项,这在统计上与随机猜测无法区分。这表明这些基准中的选项在长度上得到了很好的平衡。

长度捷径的存在取决于具体数据集及其构建方式,而非主题内容。

数据表明,正确答案的长度在不同数据集之间差异显著(例如,OpenBookQA 中为 17.74 个字符,而 ARC-Challenge 中为 29.82 个字符)。这意味着该捷径是问题和选项编写方式(例如,众包 vs. 考试型)的产物,而不是科学问题的普遍属性。

💬 Key Quotes

多项选择基准中存在一个众所周知的捷径:正确选项往往是最长的那个,因此模型——或人——完全不需要理解问题,只需选择最长的答案就能获得远高于随机的分数。

📊 Article Meta

AI Screening: 85

Source: DEV Community: machinelearning

Author: munimv2

Category: 人工智能

Language: 英文

Read Time: 4 min

Word Count: 802

Tags:

AI 与智能应用 , 测试与质量 , 商业模式与战略 , 黄金与大宗商品 , 科学前沿

#AI 与智能应用# 测试与质量# 商业模式与战略# 黄金与大宗商品# 科学前沿

文章评论(12)

星知秋20 天前

楼主辛苦了,内容很有参考价值。

回复
雪知秋20 天前

楼主辛苦了,内容很有参考价值。

回复
云逐月20 天前

看标题就点进来了,内容果然没让人失望。

回复
杨丽华20 天前

实测过类似工具,作者说的基本属实。

回复
风倚栏20 天前

这篇文章分析得很透彻,收藏了!

回复
松听风20 天前

收藏了,以后慢慢研究。

回复
墨沐雨20 天前

这个比较实用,已转发给同事。

回复
雪知秋20 天前

讲解得很细致,新手也能看懂。

回复
墨沐雨20 天前

收藏了,以后慢慢研究。

回复
星寻梦20 天前

思路清晰,干货满满。

回复
一个橘子20 天前

支持作者,持续关注中。

回复
星寻梦20 天前

整理得太全面了,省了我不少时间。

回复