交叉验证,以及掩盖模型失败的数据划分

📌 One-Sentence Summary
当交叉验证的折将分布不同的数据组混在一起时,可能会掩盖模型的失败,导致性能评分产生误导。
📝 Summary
交叉验证是一种广泛使用的模型性能估算方法,但其可靠性取决于数据的划分方式。文章介绍了标准的 k 折交叉验证:每个观测值都会被测试一次,同时用其余各折的数据进行训练。文章还指出,如果随机划分将来自不同子群体的观测值混在一起,就可能人为抬高评分。作者通过一个简单的二次函数示例说明,考虑分组的数据划分方式(例如 GroupKFold 或 Leave-One-Group-Out)会揭示严重的性能下降,而普通 k 折交叉验证则会将其掩盖。金属板刚度预测和零售业 M5 预测等现实案例表明,划分方式不匹配可能导致 R² 从 0.80 降至 –0.67,暴露出严重的隐性失败。文章建议选择能够反映未来输入数据结构的划分方式;存在不确定性时,采用多种划分策略,并比较不同划分方案的结果,以发现过于乐观的评估。总体而言,文章清晰且有据可依地批判了朴素的交叉验证,并为更稳健的模型评估提供了实用建议。
💡 Main Points
随机划分可能混合异质数据组,抬高性能评分
如果训练折和测试折包含来自不同底层分布的观测值,模型接受评估的数据就可能与实际应用中会遇到的数据不同,从而导致指标过于乐观。
考虑分组的划分方式更能反映实际应用情境
将相关观测值放在同一组中划分(例如按患者、设计系列或时间划分),可以确保模型在与未来输入相似的数据上接受测试,从而揭示其真实的泛化能力。
实证案例显示,性能差距可能很大
金属板刚度和零售预测研究表明,划分方式不匹配可能导致 R² 从 0.80 降至 –0.67,说明存在严重的隐性失败。
实用建议包括让划分方式匹配数据结构,并采用多种划分策略
分析人员应确定新案例的适当分组方式;分组关系明确时,使用 GroupKFold 或 LeaveOneGroupOut;同时比较不同划分方案的结果,以发现过于乐观的评估。
💬 Key Quotes
「大多数模型的评分都来自交叉验证。」
「唯一的变化,是哪些数据点可以被放在同一折中。」
「想想新案例在实际应用中会是什么样子,然后让各折与之匹配。」
「它们之间的巨大差距不是噪声,而是模型记住的数据规模。」
「如果分组关系不明确,就同时运行两种划分方式。」
📊 Article Meta
AI Screening: 85
Source: DEV Community: machinelearning
Author: David Mashiah
Category: 人工智能
Language: 英文
Read Time: 5 min
Word Count: 1022
Tags:
AI 与智能应用 , 机器学习 , 模型训练与推理 , 模型评测与基准 , AI 评估与基准测试
不错不错,已加入书签。
这个观点很中肯,深有同感。
不错不错,已加入书签。
作者写得真不错,学到了不少。
支持作者,持续关注中。
路过