你的测试分数可能在骗人:训练集与测试集中的近重复图像

AI小蝌蚪AI 前沿📡 BestBlogs·AI高分精选⭐ 852026-11-09598 阅读💛 136 收藏
你的测试分数可能在骗人:训练集与测试集中的近重复图像

📌 One-Sentence Summary

本文解释训练集与测试集中的近重复图像如何虚高模型表现,提供用于检测此类数据泄漏的 Python 脚本,并建议按组而非随机方式划分数据。

📝 Summary

本文探讨机器学习中的数据泄漏问题:训练集和测试集中出现近重复图像,导致准确率虚高。文章引用研究指出,CIFAR-10 测试图像中有 3.3%、CIFAR-100 测试图像中有 10% 在训练集中存在重复图像;修正后,准确率会下降 9-14%。文章提供了一段 50 行的 Python 脚本,用于生成 16x16 的灰度缩略图,并通过余弦相似度进行比较,从而找出近重复图像。文章还讨论了重复图像进入数据集的多种途径,例如同一零件被拍摄多次、视频帧、数据划分前保存的增强图像,以及合并文件夹。文章建议按组(零件、拍摄场次或视频)而非随机方式划分数据,并提供使用 scikit-learn 的 GroupShuffleSplit 或 GroupKFold 进行分组划分的代码。

💡 Main Points

训练集与测试集中的近重复图像会虚高模型表现

如果测试图像与训练图像近乎相同,模型就可能只是凭记忆识别它们,而非展现泛化能力,因此准确率会虚高;修正后,准确率会下降 9-14%。

使用 16x16 灰度缩略图的简单 Python 脚本即可检测近重复图像

该脚本会生成小尺寸缩略图,使用余弦相似度进行比较,并找出相似度超过阈值(通常为 0.90)的图像对,从而检测出经过缩放、重新保存、裁剪或翻转的副本,避免它们影响测试分数。

按组划分数据可以防止后续发生数据泄漏

不要逐个文件随机划分图像,而应按零件、拍摄场次或视频来源分组,确保同一来源的所有图像都进入同一个数据集划分,从而避免重复图像同时出现在训练集和测试集中。

💬 Key Quotes

如果测试集中的图像与训练集中的某张图像近乎相同,模型就已经见过它了。这样一来,测试分数看起来就会比实际情况更好。

普通的随机划分发现不了这些问题。它打乱的是文件名,而不是图像内容。

要从根本上解决问题,就按组划分:同一个零件、同一场拍摄或同一段视频的所有照片都放进同一个数据集。

📊 Article Meta

AI Screening: 85

Source: DEV Community: machinelearning

Author: Sathvik Dembale Krishnappagowda

Category: 人工智能

Language: 英文

Read Time: 7 min

Word Count: 1666

Tags:

AI 与智能应用 , 机器学习 , 模型评测与基准 , 测试与质量 , 编程语言

#AI 与智能应用# 机器学习# 模型评测与基准# 测试与质量# 编程语言

文章评论(12)

空向阳6 天前

点赞,必须点赞

回复
星知秋6 天前

有没有更详细的教程,期待后续。

回复
三分糖去冰6 天前

有没有更详细的教程,期待后续。

回复
林拾贝6 天前

刚好最近在找这方面的资料,太及时了。

回复
拾贝者6 天前

实测过类似工具,作者说的基本属实。

回复
青柠微凉6 天前

实测过类似工具,作者说的基本属实。

回复
石佳琪6 天前

实话,说的不明不白

回复
青柠微凉6 天前

路过

回复
山问津6 天前

不错不错,已加入书签。

回复
松听风6 天前

刚好最近在找这方面的资料,太及时了。

回复
云逐月6 天前

刚好最近在找这方面的资料,太及时了。

回复
郭超6 天前

收藏了,以后慢慢研究。

回复