三个采样器，一个后验：NUTS vs. Emcee vs. 嵌套采样

📌 One-Sentence Summary

对三种流行采样方法——NUTS、emcee 和嵌套采样（dynesty）在三个越来越复杂的宇宙学问题上的基准测试显示，虽然所有方法在简单的 Gaussian 式后验中表现良好，但只有 dynesty 成功捕捉到了多模态频率估算任务中的真模式和混淆。

📝 Summary

本文是一项比较研究，对象是三种采样算法：NUTS（Hamiltonian Monte Carlo）、emcee（仿射不变 MCMC）和 dynesty（嵌套采样）。这些算法被测试在三个不同问题上：一个简单的平坦 ΛCDM 拟合、一个暗能量参数的香蕉形退相干，以及一个多模态频率估算任务。结果显示，虽然 NUTS 最快，emcee 对单模分布很健壮，但只有 dynesty 正确识别了 true peak 及其混淆，即使它们在频率上很接近，这使它成为处理复杂多模后验的可靠选择。

💡 Main Points

NUTS 是最快的采样器，但失败于多模态分布。

NUTS 在光滑的单模态后验上速度和效率高，但其基于梯度的进场会导致它在面对多个不同峰值时困在局部最小值或旁 lobes 上，如频率估算任务所示。

Emcee 对简单形状可靠，但无法区分模式。

Emcee 在 Gaussian 式和稍微弯曲的分布上运行良好，但其随机游走的性质阻止它在分离的模式之间有效跳跃，导致偏倚结果，并对错误混淆分配显著概率。

Dynesty 是唯一正确处理多模的采样器。

Dynesty 的嵌套采样方法系统性地探索整个参数空间，使其能够准确定位并量化 true mode 及其混淆，即使它们在频率上很接近。这使它成为复杂多模问题的最值得信赖选择。

NUTS 在简单任务上表现最佳，但在复杂模式下失效。

在基础的 ΛCDM 拟合中，NUTS 快速而准确。但在处理多峰结构（如超新星频率或双井势）时，它无法跨越势垒，导致无法获取全局最优化解。

💬 Key Quotes

大多数采样器比较的麻烦之处在于，它们测量的是速度，而如果样本是错误的，速度就没有意义。你只有在你知道正确答案的时候才能检查'错误'。我确实知道这个答案，所以我们来进行实验。

回顾起来这是显而易见的。一个梯度告诉你从你所在的位置哪里是上坡，但并不会告诉你一个遥远的更高的山。NUTS 在找到第一个不错的山之后会停下来，并假装这就是最高的。

如果模式之间的比率实际上是你的科学结果，我会结合多次运行，或者增加活动点的数量。

📊 Article Meta

AI Screening： 90

Featured： Yes

Source： Towards Data Science

Author： Samit Ganguly

Category： 人工智能

Language： 英文

Read Time： 14 min

Word Count： 3393

Tags：

数据科学 , 天文学 , 工具评测 , 统计学 , 贝叶斯推断