交叉验证,以及掩盖模型失败的数据划分

AI小蝌蚪AI 前沿📡 BestBlogs·AI高分精选⭐ 852026-11-16451 阅读💛 189 收藏
交叉验证,以及掩盖模型失败的数据划分

📌 One-Sentence Summary

当交叉验证的折将分布不同的数据组混在一起时,可能会掩盖模型的失败,导致性能评分产生误导。

📝 Summary

交叉验证是一种广泛使用的模型性能估算方法,但其可靠性取决于数据的划分方式。文章介绍了标准的 k 折交叉验证:每个观测值都会被测试一次,同时用其余各折的数据进行训练。文章还指出,如果随机划分将来自不同子群体的观测值混在一起,就可能人为抬高评分。作者通过一个简单的二次函数示例说明,考虑分组的数据划分方式(例如 GroupKFold 或 Leave-One-Group-Out)会揭示严重的性能下降,而普通 k 折交叉验证则会将其掩盖。金属板刚度预测和零售业 M5 预测等现实案例表明,划分方式不匹配可能导致 R² 从 0.80 降至 –0.67,暴露出严重的隐性失败。文章建议选择能够反映未来输入数据结构的划分方式;存在不确定性时,采用多种划分策略,并比较不同划分方案的结果,以发现过于乐观的评估。总体而言,文章清晰且有据可依地批判了朴素的交叉验证,并为更稳健的模型评估提供了实用建议。

💡 Main Points

随机划分可能混合异质数据组,抬高性能评分

如果训练折和测试折包含来自不同底层分布的观测值,模型接受评估的数据就可能与实际应用中会遇到的数据不同,从而导致指标过于乐观。

考虑分组的划分方式更能反映实际应用情境

将相关观测值放在同一组中划分(例如按患者、设计系列或时间划分),可以确保模型在与未来输入相似的数据上接受测试,从而揭示其真实的泛化能力。

实证案例显示,性能差距可能很大

金属板刚度和零售预测研究表明,划分方式不匹配可能导致 R² 从 0.80 降至 –0.67,说明存在严重的隐性失败。

实用建议包括让划分方式匹配数据结构,并采用多种划分策略

分析人员应确定新案例的适当分组方式;分组关系明确时,使用 GroupKFold 或 LeaveOneGroupOut;同时比较不同划分方案的结果,以发现过于乐观的评估。

💬 Key Quotes

「大多数模型的评分都来自交叉验证。」

「唯一的变化,是哪些数据点可以被放在同一折中。」

「想想新案例在实际应用中会是什么样子,然后让各折与之匹配。」

「它们之间的巨大差距不是噪声,而是模型记住的数据规模。」

「如果分组关系不明确,就同时运行两种划分方式。」

📊 Article Meta

AI Screening: 85

Source: DEV Community: machinelearning

Author: David Mashiah

Category: 人工智能

Language: 英文

Read Time: 5 min

Word Count: 1022

Tags:

AI 与智能应用 , 机器学习 , 模型训练与推理 , 模型评测与基准 , AI 评估与基准测试

#AI 与智能应用# 机器学习# 模型训练与推理# 模型评测与基准# AI 评估与基准测试

文章评论(6)

拾贝者3 小时前

不错不错,已加入书签。

回复
蓝问津2 小时前

这个观点很中肯,深有同感。

回复
松听风4 小时前

不错不错,已加入书签。

回复
风倚栏4 小时前

作者写得真不错,学到了不少。

回复
陈皮话梅糖2 小时前

支持作者,持续关注中。

回复
暮临风1 小时前

路过

回复