OLS 将这套房价低估了 $55K,分位数回归却没有

📌 One-Sentence Summary
文章展示了分位数回归如何通过构建预测区间,捕捉房价数据中的异方差特征,优于 OLS:基于第 5 和第 95 百分位数模型得到的 90% 区间,正确涵盖了一套 OLS 低估 $55K、售价为 $219K 的房屋。
📝 Summary
文章解释了异方差数据如何违反 OLS 假设,导致预测不可靠;尤其当数值越高、方差越大时,问题更为明显。文章介绍了分位数回归这一解决方案:在不同分位数(例如第 5 和第 95 百分位数)分别拟合模型,从而构建预测区间。作者使用包含 88 条观测值的房价数据集,对比了 OLS 与分位数回归的结果。对于一套售价为 $219K 的房屋,OLS 的预测值为 $164K,而分位数回归得出的 90% 预测区间为 $136K 至 $227K,正确涵盖了实际房价。文章还提供了使用 statsmodels 的 Python 代码、展示大户型误差范围更宽的可视化图表,以及对房地产等不确定性各异领域的决策实践启示。
💡 Main Points
OLS 回归假设数据具有同方差性;当数据呈现方差递增的异方差特征时,这一假设便不成立,导致极端值处的预测不可靠。
当残差的离散程度随着预测变量增大而上升时,OLS 在数据分布均匀的区域会给出狭窄的置信区间,却会严重低估较高数值处的不确定性,从而导致较大观测值出现显著预测误差。
分位数回归通过在不同分位数(例如第 5 和第 95 百分位数)分别拟合模型,构建预测区间,以捕捉结果的完整分布。
在 tau=0.05 和 tau=0.95 处拟合模型后,两个预测值之间的范围便构成 90% 预测区间。这个区间会自然扩大,以适应异方差数据的「锥形」特征,从而更真实地呈现可能结果的范围。
包含 88 笔房屋交易的案例研究显示,分位数回归表现更出色:它的预测区间($136K-$227K)正确涵盖了一套售价为 $219K 的房屋,而 OLS 的预测偏差达 $55K。
对于索引为 86 的异常房产,实际价格为 $219K,OLS 的预测值为 $164K;而分位数回归的 90% 区间涵盖了实际价格,体现出其应对数据方差和异常值的能力。
特征的影响会随分位数变化,揭示了 OLS 通过对所有数据点的影响取平均而掩盖的市场差异。
分析显示,卧室数量在第 5 百分位数处几乎没有影响,但在第 95 百分位数处会显著影响房价;对于高端房产,地块面积的影响则接近翻四倍。这些差异揭示了基于均值的模型无法呈现的市场细分。
💬 Key Quotes
异方差是指误差值会随着预测变量(X)的变化而改变,因此 X 增大时,误差也会增大或减小。
分位数回归并非在数据中画一条居中的直线,而是可以根据你的选择,在分布的任意高度画出「切片线」。
对于索引为 86、售价为 $219 的房屋,OLS 给出的预测值为 $164,表现不佳;分位数回归则通过 $136 的下界和 $227 的上界,涵盖了更广泛的实际情况。
现实世界的数据很少是均匀分布的;当风险和方差至关重要时,利益相关者几乎从不只关心一个点估计。
📊 Article Meta
AI Screening: 87
Source: Towards Data Science
Author: Gustavo Santos
Category: 人工智能
Language: 英文
Read Time: 10 min
Word Count: 2474
Tags:
AI 与智能应用 , 数据科学 , 机器学习 , 统计学 , 回归分析
思路清晰,干货满满。
支持作者,持续关注中。
写得挺用心的,支持一下。
收藏了,以后慢慢研究。
不错不错,已加入书签。
思路清晰,干货满满。
这篇文章分析得很透彻,收藏了!
作者写得真不错,学到了不少。
讲解得很细致,新手也能看懂。
这篇文章分析得很透彻,收藏了!
这篇文章分析得很透彻,收藏了!
实测过类似工具,作者说的基本属实。