OLS 将这套房价低估了 $55K,分位数回归却没有

溪行者AI 前沿📡 BestBlogs·AI高分精选⭐ 872026-11-10514 阅读💛 201 收藏
OLS 将这套房价低估了 $55K,分位数回归却没有

📌 One-Sentence Summary

文章展示了分位数回归如何通过构建预测区间,捕捉房价数据中的异方差特征,优于 OLS:基于第 5 和第 95 百分位数模型得到的 90% 区间,正确涵盖了一套 OLS 低估 $55K、售价为 $219K 的房屋。

📝 Summary

文章解释了异方差数据如何违反 OLS 假设,导致预测不可靠;尤其当数值越高、方差越大时,问题更为明显。文章介绍了分位数回归这一解决方案:在不同分位数(例如第 5 和第 95 百分位数)分别拟合模型,从而构建预测区间。作者使用包含 88 条观测值的房价数据集,对比了 OLS 与分位数回归的结果。对于一套售价为 $219K 的房屋,OLS 的预测值为 $164K,而分位数回归得出的 90% 预测区间为 $136K 至 $227K,正确涵盖了实际房价。文章还提供了使用 statsmodels 的 Python 代码、展示大户型误差范围更宽的可视化图表,以及对房地产等不确定性各异领域的决策实践启示。

💡 Main Points

OLS 回归假设数据具有同方差性;当数据呈现方差递增的异方差特征时,这一假设便不成立,导致极端值处的预测不可靠。

当残差的离散程度随着预测变量增大而上升时,OLS 在数据分布均匀的区域会给出狭窄的置信区间,却会严重低估较高数值处的不确定性,从而导致较大观测值出现显著预测误差。

分位数回归通过在不同分位数(例如第 5 和第 95 百分位数)分别拟合模型,构建预测区间,以捕捉结果的完整分布。

在 tau=0.05 和 tau=0.95 处拟合模型后,两个预测值之间的范围便构成 90% 预测区间。这个区间会自然扩大,以适应异方差数据的「锥形」特征,从而更真实地呈现可能结果的范围。

包含 88 笔房屋交易的案例研究显示,分位数回归表现更出色:它的预测区间($136K-$227K)正确涵盖了一套售价为 $219K 的房屋,而 OLS 的预测偏差达 $55K。

对于索引为 86 的异常房产,实际价格为 $219K,OLS 的预测值为 $164K;而分位数回归的 90% 区间涵盖了实际价格,体现出其应对数据方差和异常值的能力。

特征的影响会随分位数变化,揭示了 OLS 通过对所有数据点的影响取平均而掩盖的市场差异。

分析显示,卧室数量在第 5 百分位数处几乎没有影响,但在第 95 百分位数处会显著影响房价;对于高端房产,地块面积的影响则接近翻四倍。这些差异揭示了基于均值的模型无法呈现的市场细分。

💬 Key Quotes

异方差是指误差值会随着预测变量(X)的变化而改变,因此 X 增大时,误差也会增大或减小。

分位数回归并非在数据中画一条居中的直线,而是可以根据你的选择,在分布的任意高度画出「切片线」。

对于索引为 86、售价为 $219 的房屋,OLS 给出的预测值为 $164,表现不佳;分位数回归则通过 $136 的下界和 $227 的上界,涵盖了更广泛的实际情况。

现实世界的数据很少是均匀分布的;当风险和方差至关重要时,利益相关者几乎从不只关心一个点估计。

📊 Article Meta

AI Screening: 87

Source: Towards Data Science

Author: Gustavo Santos

Category: 人工智能

Language: 英文

Read Time: 10 min

Word Count: 2474

Tags:

AI 与智能应用 , 数据科学 , 机器学习 , 统计学 , 回归分析

#AI 与智能应用# 数据科学# 机器学习# 统计学# 回归分析

文章评论(12)

武磊5 天前

思路清晰,干货满满。

回复
崔欣怡5 天前

支持作者,持续关注中。

回复
月沐雨5 天前

写得挺用心的,支持一下。

回复
黄小刚5 天前

收藏了,以后慢慢研究。

回复
云逐月5 天前

不错不错,已加入书签。

回复
墨沐雨5 天前

思路清晰,干货满满。

回复
蓝归舟5 天前

这篇文章分析得很透彻,收藏了!

回复
竹听风5 天前

作者写得真不错,学到了不少。

回复
蓝归舟5 天前

讲解得很细致,新手也能看懂。

回复
曹浩5 天前

这篇文章分析得很透彻,收藏了!

回复
雪影5 天前

这篇文章分析得很透彻,收藏了!

回复
蒋力5 天前

实测过类似工具,作者说的基本属实。

回复