多模态扩散模型的三个生成阶段：噪声、分化、坍缩——以及怎么用来调采样

一句话结论

两位弦论背景的研究者（UC Berkeley 的 Emil Albrychiewicz 与 UCSF 的 Franco Valiente）在报告中把扩散模型的逆向生成过程解析成三个有精确时间边界的阶段——噪声区、分化区（speciation time 之后模型开始产生多样的新样本）、坍缩区（collapse time 之后模型记忆训练数据）——并用多模态 Ornstein-Uhlenbeck 最小模型推导出工程上可用的结论：共同语义模态先分化、细节模态后分化，classifier-free guidance 只在分化时间之后才有意义，而 MNIST 配对实验证实了理论预测的「决策间隙」随模态耦合增强而变大。

报告还有一个值得记录的背景：这是斯坦福「解码宇宙中心」（Center for Decoding the Universe）2026 年物理与 AI 会议现场——这个中心把跨学科研究者聚在一起回答最大的科学问题，而两位讲者的 session 连主持人介绍姓名都差点念错，细节本身说明交叉领域还很年轻，方法论正处在快速成形期。对关注 AI 理论的读者，这个会议是值得跟踪的信源：它把物理学界的解析工具批量导入生成模型研究，产出与工程参数（采样调度、引导时机）直接挂钩，不是纯学院派的把玩。

从随机定位到三阶段：最小模型怎么建

报告的方法论起点是把扩散模型理解为随机定位（stochastic localization）：把复杂数据分布逐步加噪直到变成简单高斯，再训练网络学会逆转这条路。要解析研究，需要一个最小代理模型——Ornstein-Uhlenbeck（OU）过程：一个过阻尼随机谐振子，均值回复项持续抽取噪声能量，噪声项持续注入扰动。选它是因为大时间极限下收敛到高斯、且两点相关函数可精确求解——可解性是全部后续推导的前提。

这个「最小代理模型」的策略本身值得注意。直接解析真实扩散模型（数亿参数、复杂架构）不可能，但他们没有因此放弃解析，而是退到一个数学上完全可解的玩具模型，把想研究的机制（多模态耦合、相变时刻）在玩具里算到底，再用玩具的预测去真实模型上找对应现象。报告开头他们引用了物理学史的一串经典方程（匀加速二次律、Uehling 势、Michaelis-Menten 动力学）作为「微观模型—数据拟合—行为理解」三位一体的范本——这套流程在深度学习时代同样成立，只是「微观模型」换成了最小可解网络。做 AI 研究或复杂系统分析的团队遇到「真实系统不可解析」的死路时，这条路（可解代理+预测迁移+实验对照）是标准出路。

前人工作（Barbier 等合作者）已证明：最优训练的扩散模型，逆向轨迹会穿过三个由尖锐相变分隔的阶段。起点是纯噪声；到 speciation time，轨迹开始分岔出多样的新样本（真正的生成）；继续演化到 collapse time，轨迹坍缩回记忆——最终样本实际来自训练数据的逐字复现。这个三阶段结构直接可测：跟踪贡献最终样本的训练轨迹数量 N_F(T)，泛化区约为几十上百条，记忆区只剩一条。

三阶段的划分之所以是「相变」而不是渐变，是因为轨迹数量的跌落发生得非常尖锐——这与物理学里的一级相变（例如水结冰）同构，也正是物理工具能介入的原因：相变有普适的分类理论，尖锐转变点的位置可以被解析计算。报告里最有冲击力的一句话是「扩散模型的成功恰恰在于它的失败」：神经网络被训练去做精确逆转，但它的表达能力有限、必然失败，而失败的特定方式（局部补丁各自为政）恰好产生了新样本。创造力不是设计目标，是容量约束的副产品——这个反直觉结论对理解所有生成模型都适用。

报告人还补充了这套理论的历史呼应：扩散模型的首创者之一就坐在听众席里（他们向现场致意），说明这场对话直接发生在「造出工具的人」和「解释工具的人」之间。这种分工本身就是 AI 领域成熟的标志——工程先行、理论追赶，而追赶的理论反过来指导下一次工程迭代（什么时候引导、什么时候停采样，正是下一次迭代要用的知识）。

多模态版本：弛豫矩阵、分岔森林与决策间隙

团队的推进在于多模态推广：文本到图像、音频到视频的生成需要多个模态同步。最小模型的做法是每个模态一个 OU 过程，模态间用弛豫矩阵 M 耦合，噪声协方差矩阵 Q(t) 精确可解。M 的结构可以分类设计：对称情形无信息流向偏好，各向异性情形有主导方向——这正好对应「文本引导图像」「图像引导文本」「单向下行」等不同生成架构。

对势函数情形，逆向漂移可以写成势的形式，势的最小值就是轨迹的归宿。分岔分析给出一个 pitchfork 分岔递归方程（数学结构与量子力学有限深方阱的切向递推同构）：speciation time 处模型选定生成类别。真实模型里分岔一再重复形成「分岔森林」，而共同模态（跨模态共享语义，对角化 M 后衰减最慢的分量）的分化时间更早，细节模态更晚——两者之间存在一个可测量的「决策间隙」。MNIST 配对实验验证了这一切：构造语义配对（同数字对，其一做模糊变换）与对照配对（两类无关数字），只改各向异性噪声的耦合 G，测得的间隙在语义配对中一致地大于对照；轨迹克隆实验进一步确认耦合为零时间隙消失，耦合增强间隙增大。

「决策间隙」这个概念值得用大白话再讲一遍，因为它直接解释了多模态生成的一个日常现象。生成一段视频时，模型并不是某一瞬间同时决定「内容是什么、画风是什么、镜头怎么动」——它先在大结构上拍板（共同模态先分化：这段视频大概讲什么），然后才逐步细化（细节模态后分化：具体的纹理、边缘、帧间细节）。两个决策时刻之间的间隙就是理论预测的那个 gap，而且模态间耦合越强（语义关联越紧密），这个间隙越大。这给了调参者一个诊断坐标：如果生成的多模态内容出现「语义对得上但细节对不上」（口型对但皮肤纹理错乱），问题定位在细节模态的分化阶段——晚期步；如果连语义都错了（说的内容和画的内容无关），问题在最早的共同模态阶段——早期步。排查顺序从全局到细节，与二分排查的直觉一致但有了理论依据。

实验设计还有一层巧思值得借鉴：对照配对与语义配对只差一个变量（各向异性噪声的耦合 G），架构完全不动。这样测出的间隙差异只能归因于语义耦合本身，而不是模型容量或训练超参。做 ablation 实验的团队可以照抄这个「单变量配对」设计——多数失败的消融实验败在同时动了多个变量。

给生成工作流的三条操作含义

第一，guidance 的时机有物理边界：在 speciation time 之前做 classifier-free guidance 是无效功——那时还没有可引导的结构；过了坍缩点再引导也失去意义。理论给出的「什么时候开始引导」比网格搜索试参有明确坐标，视频生成工程（报告人提到 2023 年前后的实战调参正是大量盲搜）可以直接受益。这个结论的悖论式表述在报告里被专门点出：分化之前没有可引导的对象（引导无的放矢），分化之后轨迹似乎已选定（引导似乎多余）——解开的钥匙是真实系统里分岔一再发生形成「森林」，每次分岔都开了新的引导窗口，所以正确姿势是「在分岔森林里持续微调方向」而不是「一次性把方向扳死」。

第二，生成顺序是先全局后细节：共同模态先分化意味着模型先承诺大结构、再迭代细化小细节——排查生成质量问题时按这个顺序定位（结构错看早期步，细节糊看晚期步）。配套的加速思路也来自理论：既然晚期步只改细节，采样预算可以向前段倾斜（重要决策集中在前段），后段用更粗的步长——报告明确把这列为「扩散模型工程」的应用方向：加速、降本都从阶段结构里长出来。

第三，记忆化可被主动检测：把生成逼进坍缩区，能反推模型记住了哪些训练数据——这既是数据合规审计的探针（报告明确提到网络安全含义：如果模型已记忆训练集，强制坍缩可以回放出训练内容，涉及版权与隐私的团队应该把这项检测纳入上线前清单），也提示日常生成应停在坍缩前的泛化区以保多样性。轨迹数量 N_F(T) 就是现成的监测指标：平时保持几十上百，跌到个位数就是进了记忆区。

报告人的自嘲也值得记：做了多年弦论后终于在 MNIST 上做了人生第一个实验——因为算力只够 MNIST，但理论物理的工具照样给出了可检验的预测。这也是给资源受限团队的鼓励：先把理论推干净，用最小实验验证核心预测，比堆算力跑大实验更快逼近答案。

方法的可迁移性还体现在测量协议上。三个特征时间（进入噪声区终点、分化时间、坍缩时间）都可以从批量采样轨迹直接估计：固定提示、采样多条轨迹、在若干中间时刻聚类，聚类数随时间从一变多再回落的两个拐点就是分化与坍缩的坐标。这套协议不需要访问模型内部，黑盒模型照样能跑，配合轨迹数量监测指标就构成一套完整的生成健康度仪表盘——任何用扩散模型的团队都可以在现有推理管线上加一层零成本的体检。

原文信息

• 原视频标题：2026 Conference on Physics and AI: Emil Albrychiewicz
• 频道：Stanford HAI
• 讲者：Emil Albrychiewicz（UC Berkeley）、Franco Valiente（UCSF）
• 发布日期：2026-06-30
• 视频时长：约 26.7 分钟