我试图用机器学习战胜标普 500,结果 bug 比模型教会我的更多

📌 One-Sentence Summary
一次用机器学习战胜标普 500 的严谨尝试发现,数据 bug 夸大了结果;修复后,模型的优势在统计上不显著,并在 2020 年后消退。
📝 Summary
作者花了数周时间,用预先设定的通过/失败标准,针对标普 500 测试了 CAN SLIM 规则、动量、波动率目标、LightGBM 排序模型和 K 线形态。排序模型最初显示出 4.5 的 t 统计量,但审计发现了三个 bug:退市损失被重复计算、泄漏测试漏掉了基本面数据中的前视偏差,以及缺失数据本身就能预测退市。修复这些问题后,t 统计量降至约 2.5。清洗后的模型年化收益为 24.8%,而 SPY 为 13.8%,但 beta 为 1.37,最大回撤为 -52.4%;其 alpha 为 +6.5%,t 统计量为 1.5,并不显著。该优势在 2020 年后消退。限制在符合伊斯兰教法的股票中改善了回测,但等权重基准篮子同样跑赢了 SPY,表明存在后见之明偏差。K 线形态没有增加任何价值。作者冻结了一个模型,在 SPUS 持仓上进行前瞻性纸面测试,预设成功标准为:在 50 个决策日后,排名相关性 ≥ +0.02 且 t ≥ 2。主要教训是:把任何看起来不错的结果都当作 bug,直到它经受住攻击。
💡 Main Points
预先登记通过/失败标准对于避免多重测试中的自欺至关重要。
作者在每次测试前都写下了什么算通过,这防止了在结果令人失望时移动目标线。
三个隐蔽的数据 bug 夸大了模型的表面优势,修复后 t 统计量从 4.5 降至 2.5。
退市损失被重复计算、泄漏测试无法检测基本面数据中的前视偏差,以及缺失数据本身就能预测退市,这些都让模型看起来比实际更好。
清洗后模型的更高收益几乎完全来自更高的风险,而非技能。
模型组合的 beta 为 1.37,最大回撤为 -52.4%;其 alpha 为 +6.5%,t 统计量为 1.5,在统计上不显著。
基于当前指数或 ETF 持仓的回测存在后见之明偏差,无法告诉你你本可以赚到多少。
限制在当前 SPUS 持仓中改善了结果,但同样股票的等权重篮子也跑赢了 SPY,表明是名单本身带来了额外收益。
K 线形态在机器学习和基于规则的测试中都没有增加价值。
添加 K 线特征略微降低了排名相关性,而四种经典看涨形态在统计显著性上未能击败无形态基准。
💬 Key Quotes
主要教训是:把任何看起来不错的结果都当作 bug,直到它经受住攻击。
t 值 4.5 是那种应该让你起疑的数字,而它确实应该。
模型的 alpha 为每年 +6.5%,t 统计量为 1.5,并不显著。
基于当前持仓名单的任何回测都无法告诉你你本可以赚到多少。只有前瞻数据可以。
真正的惊喜是那个门控。仅在确认上升趋势中持有 SPY,在 2020-2026 年间回报为 +24.6%,而买入并持有为 +158%。
📊 Article Meta
AI Screening: 88
Source: DEV Community: machinelearning
Author: rahairi rani
Category: 投资财经
Language: 英文
Read Time: 12 min
Word Count: 2996
Tags:
财经与经济 , 机器学习 , 股市投资 , 量化金融 , 模型评测与基准
这个观点很中肯,深有同感。
作者写得真不错,学到了不少。
内容翔实,正好需要,先收藏再看。
内容翔实,正好需要,先收藏再看。
赞同,实践出真知。
刚好最近在找这方面的资料,太及时了。
赞同,实践出真知。
楼主辛苦了,内容很有参考价值。
不错不错,已加入书签。
实话,说的不明不白
收藏了,以后慢慢研究。
整理得太全面了,省了我不少时间。