MMLU 的「答案是 D」倾向主要是「以上皆是」造成的假象

AI小蝌蚪AI 前沿📡 BestBlogs·AI高分精选⭐ 872026-10-29548 阅读💛 76 收藏
MMLU 的「答案是 D」倾向主要是「以上皆是」造成的假象

📌 One-Sentence Summary

在 MMLU 中观察到的偏向最后一个选项的偏差,很大程度上是由「以上皆是」及类似元选项的存在所驱动的,这些选项通常被放在最后,且经常包含正确答案。

📝 Summary

对 MMLU 数据集的分析表明,正确答案倾向于出现在最后位置(选项 D)并非数据集的普遍怪癖,而是特定题型造成的结果。包含「以上皆是」或「以上皆非」选项的题目,其正确答案出现在最后位置的概率异常之高,因为这些元选项通常被放在列表末尾。当移除这些题目后,偏向最后一个选项的偏差便消失了,这表明整体的「倾向」是这种特定格式惯例造成的假象,而非数据集的普遍属性。

💡 Main Points

元选项是最后答案偏差的主要驱动因素。

研究指出,「以上皆是」和「以上皆非」题型是观察到的偏差的主要贡献者。这些选项几乎总是被放在最后,且经常是正确答案,人为地抬高了最后位置正确答案的百分比。

排除元选项后,偏差消失。

当从数据集中移除包含元选项的题目后,正确答案在四个位置上的分布变得更加均匀。「最后答案」偏差不再具有统计显著性,证实了最初的倾向是由这些元选项题目的特定结构造成的。

特定学科领域仍存在残余偏差。

尽管整体偏差有所减少,但分析指出某些学科领域(如高中统计和专业医学)仍表现出将正确答案放在最后的倾向。这表明虽然元选项是主导因素,但某些领域可能还存在其他较小的贡献因素。

💬 Key Quotes

嫌疑对象:元选项

元选项罕见、位于末尾,且指向正确答案

移除它们后,最后答案倾向便崩塌了

剩下的是几个学科,而非一种惯例

为什么这很重要

📊 Article Meta

AI Screening: 87

Source: DEV Community: machinelearning

Author: munimv2

Category: 人工智能

Language: 英文

Read Time: 4 min

Word Count: 925

Tags:

AI 与智能应用 , 模型发布 , 机器学习 , AI 安全与对齐 , AI 工作流

#AI 与智能应用# 模型发布# 机器学习# AI 安全与对齐# AI 工作流

文章评论(12)

空向阳17 天前

看完了,收获满满,期待更多更新。

回复
雪影17 天前

内容翔实,正好需要,先收藏再看。

回复
墨沐雨17 天前

整理得太全面了,省了我不少时间。

回复
黄小刚17 天前

点赞,必须点赞

回复
风倚栏17 天前

这篇文章分析得很透彻,收藏了!

回复
邱文博17 天前

路过

回复
石佳琪17 天前

楼主辛苦了,内容很有参考价值。

回复
星寻梦17 天前

路过

回复
蓝归舟17 天前

这篇文章分析得很透彻,收藏了!

回复
龙文博17 天前

作者写得真不错,学到了不少。

回复
墨向阳17 天前

支持作者,持续关注中。

回复
郭超17 天前

刚好最近在找这方面的资料,太及时了。

回复