你的测试分数可能在骗人:训练集与测试集中的近重复图像

📌 One-Sentence Summary
本文解释训练集与测试集中的近重复图像如何虚高模型表现,提供用于检测此类数据泄漏的 Python 脚本,并建议按组而非随机方式划分数据。
📝 Summary
本文探讨机器学习中的数据泄漏问题:训练集和测试集中出现近重复图像,导致准确率虚高。文章引用研究指出,CIFAR-10 测试图像中有 3.3%、CIFAR-100 测试图像中有 10% 在训练集中存在重复图像;修正后,准确率会下降 9-14%。文章提供了一段 50 行的 Python 脚本,用于生成 16x16 的灰度缩略图,并通过余弦相似度进行比较,从而找出近重复图像。文章还讨论了重复图像进入数据集的多种途径,例如同一零件被拍摄多次、视频帧、数据划分前保存的增强图像,以及合并文件夹。文章建议按组(零件、拍摄场次或视频)而非随机方式划分数据,并提供使用 scikit-learn 的 GroupShuffleSplit 或 GroupKFold 进行分组划分的代码。
💡 Main Points
训练集与测试集中的近重复图像会虚高模型表现
如果测试图像与训练图像近乎相同,模型就可能只是凭记忆识别它们,而非展现泛化能力,因此准确率会虚高;修正后,准确率会下降 9-14%。
使用 16x16 灰度缩略图的简单 Python 脚本即可检测近重复图像
该脚本会生成小尺寸缩略图,使用余弦相似度进行比较,并找出相似度超过阈值(通常为 0.90)的图像对,从而检测出经过缩放、重新保存、裁剪或翻转的副本,避免它们影响测试分数。
按组划分数据可以防止后续发生数据泄漏
不要逐个文件随机划分图像,而应按零件、拍摄场次或视频来源分组,确保同一来源的所有图像都进入同一个数据集划分,从而避免重复图像同时出现在训练集和测试集中。
💬 Key Quotes
如果测试集中的图像与训练集中的某张图像近乎相同,模型就已经见过它了。这样一来,测试分数看起来就会比实际情况更好。
普通的随机划分发现不了这些问题。它打乱的是文件名,而不是图像内容。
要从根本上解决问题,就按组划分:同一个零件、同一场拍摄或同一段视频的所有照片都放进同一个数据集。
📊 Article Meta
AI Screening: 85
Source: DEV Community: machinelearning
Author: Sathvik Dembale Krishnappagowda
Category: 人工智能
Language: 英文
Read Time: 7 min
Word Count: 1666
Tags:
AI 与智能应用 , 机器学习 , 模型评测与基准 , 测试与质量 , 编程语言
点赞,必须点赞
有没有更详细的教程,期待后续。
有没有更详细的教程,期待后续。
刚好最近在找这方面的资料,太及时了。
实测过类似工具,作者说的基本属实。
实测过类似工具,作者说的基本属实。
实话,说的不明不白
路过
不错不错,已加入书签。
刚好最近在找这方面的资料,太及时了。
刚好最近在找这方面的资料,太及时了。
收藏了,以后慢慢研究。