对 LLM 基准测试分数背后的指标与金标准标签进行的 25 项可复现审计

AI小蝌蚪AI 前沿📡 BestBlogs·AI高分精选⭐ 882026-10-22763 阅读💛 175 收藏
对 LLM 基准测试分数背后的指标与金标准标签进行的 25 项可复现审计

📌 One-Sentence Summary

本文介绍了 25 项可复现审计,揭示热门 LLM 基准测试的评分代码和金标准标签中的具体缺陷,包括 NLI 数据集中的自相矛盾标注,以及 GSM8K 中最终答案与计算结果不一致的问题。

📝 Summary

作者汇编了 25 项小规模、可复现实验,用于定位并量化 LLM 基准测试评估流程中的错误。这些审计主要分为两类:金标准标注不一致(例如 SNLI 和 MultiNLI 中重复条目的标签相互冲突),以及评分算法中的错误(例如 HuggingFace 的 exact_match 规范化程序导致判定结果反转)。每项审计都详细分析了具体缺陷及其对基准测试数据的影响。

💡 Main Points

NLI 数据集中的金标准标签冲突

审计发现,SNLI、MultiNLI 和 ANLI 数据集中存在「自相矛盾」条目:同一组(前提、假设)被分配了两个不同的金标准标签。尽管这些冲突仅出现在训练数据中,但它们反映出标注流程缺乏一致性,可能会影响模型训练。

GSM8K 中计算器标注与最终答案不一致

在 GSM8K 数学数据集中,行内计算器标注与最终的「####」答案之间存在明显差异。超过 5% 的解答中,最后计算出的数值与给出的结论不符,这表明最终答案的提取可能依赖于最后一条标注,而非解答文本本身。

评分代码中的规范化错误

审计发现,评分所用的规范化程序存在若干问题。例如,HuggingFace 的 exact_match 函数未能处理标点和冠词,导致匹配结果错误。同样,ROUGE 分词器的 ASCII 过滤机制可能会让含义相反的摘要获得满分。

💬 Key Quotes

如果同一组(前提、假设)字符串出现两次,却对应两个不同的金标准标签,那么这组数据就是自相矛盾的真值。

算术计算本身没有问题。但在 **8,679** 个解答中,有 **470** 个解答的「####」最终答案与最后一条标注不同(5.4%)。

**ROUGE** 分词器仅保留 ASCII 字符的过滤机制,可能让两篇含义相反的摘要都获得 ROUGE-1 F = 1.0。

📊 Article Meta

AI Screening: 88

Source: DEV Community: machinelearning

Author: munimv2

Category: 人工智能

Language: 英文

Read Time: 4 min

Word Count: 816

Tags:

AI 与智能应用 , 测试与质量 , 机器学习 , AI 工程 , 模型评测与基准

#AI 与智能应用# 测试与质量# 机器学习# AI 工程# 模型评测与基准

文章评论(12)

星寻梦24 天前

内容翔实,正好需要,先收藏再看。

回复
晨寻梦24 天前

很有价值的分享,感谢整理。

回复
南山客24 天前

这个观点很中肯,深有同感。

回复
竹听风24 天前

实话,说的不明不白

回复
星寻梦24 天前

赞同,实践出真知。

回复
漾漾其华24 天前

收藏了,以后慢慢研究。

回复
星知秋24 天前

刚好最近在找这方面的资料,太及时了。

回复
空向阳24 天前

收藏了,以后慢慢研究。

回复
空向阳24 天前

楼主辛苦了,内容很有参考价值。

回复
邱文博24 天前

写得挺用心的,支持一下。

回复
吴超24 天前

这个观点很中肯,深有同感。

回复
一叶知秋24 天前

作者写得真不错,学到了不少。

回复