MMLU 的「答案是 D」倾向主要是「以上皆是」造成的假象

📌 One-Sentence Summary
在 MMLU 中观察到的偏向最后一个选项的偏差,很大程度上是由「以上皆是」及类似元选项的存在所驱动的,这些选项通常被放在最后,且经常包含正确答案。
📝 Summary
对 MMLU 数据集的分析表明,正确答案倾向于出现在最后位置(选项 D)并非数据集的普遍怪癖,而是特定题型造成的结果。包含「以上皆是」或「以上皆非」选项的题目,其正确答案出现在最后位置的概率异常之高,因为这些元选项通常被放在列表末尾。当移除这些题目后,偏向最后一个选项的偏差便消失了,这表明整体的「倾向」是这种特定格式惯例造成的假象,而非数据集的普遍属性。
💡 Main Points
元选项是最后答案偏差的主要驱动因素。
研究指出,「以上皆是」和「以上皆非」题型是观察到的偏差的主要贡献者。这些选项几乎总是被放在最后,且经常是正确答案,人为地抬高了最后位置正确答案的百分比。
排除元选项后,偏差消失。
当从数据集中移除包含元选项的题目后,正确答案在四个位置上的分布变得更加均匀。「最后答案」偏差不再具有统计显著性,证实了最初的倾向是由这些元选项题目的特定结构造成的。
特定学科领域仍存在残余偏差。
尽管整体偏差有所减少,但分析指出某些学科领域(如高中统计和专业医学)仍表现出将正确答案放在最后的倾向。这表明虽然元选项是主导因素,但某些领域可能还存在其他较小的贡献因素。
💬 Key Quotes
嫌疑对象:元选项
元选项罕见、位于末尾,且指向正确答案
移除它们后,最后答案倾向便崩塌了
剩下的是几个学科,而非一种惯例
为什么这很重要
📊 Article Meta
AI Screening: 87
Source: DEV Community: machinelearning
Author: munimv2
Category: 人工智能
Language: 英文
Read Time: 4 min
Word Count: 925
Tags:
AI 与智能应用 , 模型发布 , 机器学习 , AI 安全与对齐 , AI 工作流
看完了,收获满满,期待更多更新。
内容翔实,正好需要,先收藏再看。
整理得太全面了,省了我不少时间。
点赞,必须点赞
这篇文章分析得很透彻,收藏了!
路过
楼主辛苦了,内容很有参考价值。
路过
这篇文章分析得很透彻,收藏了!
作者写得真不错,学到了不少。
支持作者,持续关注中。
刚好最近在找这方面的资料,太及时了。