Langevin 采样:用 score 走出数据流形
MCMC + 噪声 = 通用采样器。
9. Langevin 采样:用 score 走出数据流形
主源:Vizuara《Principles of Diffusion Models》Lecture 5(Energy-Based Models & Score Function,讲师 Dr. Raj Dandekar,chunk #0、#4–19)、Lecture 7(Noise Conditional Score Networks,chunk #3「磁铁类比」)、Lecture 8(SDE 框架统一视角,chunk #2);副源:CMU 10799 Lecture 4(Score-based Models,chunk #1)。
📌 TL;DR
问题:我们已经学会估计 score 函数 $s_\theta(x) \approx \nabla_x \log p(x)$,但 score 只告诉我"在 $x$ 这一点哪个方向密度上升最快"。怎么真正从 $p(x)$ 里采样?
答案:Langevin Dynamics(朗之万动力学)。它把"沿 score 上升"和"高斯抖动"拼到同一个迭代里:
$$\boxed{\,x_{k+1} \;=\; x_k \;+\; \tfrac{\delta}{2}\, \nabla_x \log p(x_k) \;+\; \sqrt{\delta}\, \epsilon_k, \qquad \epsilon_k \sim \mathcal{N}(0, I)\,}$$第一项 drift(漂移)把当前点拉向高密度区;第二项 diffusion(扩散)给它随机踢一脚。没有抖动时这退化成纯梯度上升,会卡死在 $\log p$ 的局部最大点(mode);有了抖动,链子就能在所有 mode 之间游走,采样概率正比于密度——这才是"从分布里采样"。
承上启下:这是 score-based 生成模型(Song & Ermon 2019)实际"出图"的那一步。整条 NCSN 采样流程 = 在递减噪声尺度上跑若干次 annealed Langevin。下一章我们就会看到 DDPM 的反向步骤本质上是带噪声尺度 $t$ 的 Langevin 步——本章打下的迭代式后面会被反复复用。
一、回顾:我们走到哪了?为什么需要 Langevin?
Vizuara 这门课从 VAE 起步、走到 DDPM、再到 Energy-Based Models / Score Function——每一节都在解一个"如何刻画数据分布 $p_{\text{data}}(x)$"的子问题。Dr. Raj 在 L5 开场的复盘把整条主线串得很清楚:
「We started off with deep generative models. We looked at—these kind of models try to predict the true distribution which governs the underlying data... we do not have access to the true distribution. The only thing we have access to is samples from the data. And given the data samples, our objective is to predict the true distribution which governs this data distribution.」(chunk #0)
讲师把目标记成 $p_\phi(x) \approx p_{\text{data}}(x)$,并把已经学过的两条路线点了名:
- VAE(L2):把数据从像素空间映射到 latent,再 decoder 还原;训练 encoder + decoder 两个网络;缺点是输出模糊、双网络训练麻烦(chunk #4–5)。
- DDPM(L3–L4):前向是无参的加噪链,反向是一个共享网络一步步去噪;本质是把 VAE 拉成 T 步(chunk #6–10)。
L5 引入了第三条路线——Energy-Based Models(EBM)+ score function(chunk #11–19,对应本书 第 7 章和 第 8 章):
「So having understood both variational autoencoders and diffusion models, we move to another important concept which... will closely intersect with the diffusion framework... the concept or the framework that we are going to learn today is called as energy based models, and... we will look at in detail how energy based models combine very nicely with diffusion models in a single cohesive framework.」(chunk #11)
EBM 用能量函数 $E_\phi(x)$ 给每个数据点打一个"不喜欢度":能量低 = 概率高、能量高 = 概率低(chunk #14–15 的"小球落山谷"画面)。它的标准概率写法是 Boltzmann/Gibbs 形式:
$$p_\phi(x) \;=\; \frac{\exp(-E_\phi(x))}{Z_\phi}, \qquad Z_\phi = \int \exp(-E_\phi(x))\, dx$$讲师用 $e^{-x}$ 的三条性质——单调递减、值域非负、把低能量映成高概率——解释了为什么是指数而不是别的(chunk #17–19)。但 EBM 有一个臭名昭著的拦路虎:配分函数 $Z_\phi$ 是高维积分,算不动。Score function 正是为了绕开 $Z_\phi$ 才登场:
$$\nabla_x \log p_\phi(x) \;=\; -\nabla_x E_\phi(x), \qquad (\text{配分函数 } Z_\phi \text{ 被求导消掉了!})$$到这里,第 7、8 两章讲完了"怎么学 score"(denoising score matching、NCSN 多噪声尺度)。但还差最后一步——有了 score 怎么真正吐出一张图?这正是本章 Langevin 要回答的问题。
二、磁铁类比:score 给出的不只是一个值,是一个矢量场
Dr. Raj 在 L7 用了一个非常好用的物理类比,先把 score 是什么具象化,这样后面才能讲清楚"沿着 score 走"是什么意思:
「Imagine that there are a bunch of magnets kept on a table and you have access to only a few of those magnets. Many of the other magnets are hidden from you. Now the idea or the objective is to calculate—given any point on this table, what is the direction in which the nearest magnet is pulling you. This is what we want to calculate. Now, inherently this is a very hard problem because we do not know the exact location of the magnets.」(chunk #3)
翻译成我们的语言:
- 桌子 = 数据空间 $\mathbb{R}^d$;
- 磁铁 = 真实数据点 $x^{(1)}, x^{(2)}, \dots, x^{(N)} \sim p_{\text{data}}$(你只看见一部分);
- 桌面上每一点的"被磁铁拉向哪"的方向 = $\nabla_x \log p_{\text{data}}(x)$,正是 score;
- 训练 score network $s_\theta(x)$ = 学一张覆盖整张桌子的磁力线图,让神经网络能告诉你任意一点(包括没有磁铁的地方)"附近磁铁在哪个方向"。
有了这张矢量场,采样的直觉立刻变成:把一颗小铁屑随便扔到桌上,让它顺着磁力一路滑过去——它最终会停在磁铁附近,也就是数据分布的高密度区。但"一路滑过去"具体怎么离散化成一个可执行的算法?Langevin 就是答案。
讲师在 chunk #3 也明确点出了这个类比的难点:「we do not know the exact location of the magnets. If we knew that we would calculate the magnetic field for all the...」——我们既不知道有多少磁铁、也不知道它们具体在哪儿,只有有限的训练样本。这恰好对应"我们既不知道 $p_{\text{data}}$ 的解析形式、也不知道它的所有 mode,只有有限个样本"。Score network 的任务,就是从这些"看得见的磁铁"外推出整张磁力图——这是第 8 章讲清楚的事。本章假设这张图已经训好。
三、第一性原理推导(一):先尝试纯梯度上升,看它会出什么问题
"沿着 score 走"最朴素的写法是 对 $\log p(x)$ 做梯度上升:
Why:梯度为零是极值的必要条件。从随机初始点出发,这条链子的极限分布是 mode 上的 δ-函数,而不是 $p(x)$ 本身。
这就引出本章最关键的认识错位:
• 你想画一张典型的 MNIST 数字 → 应该按 $p(x)$ 的密度采样,"7" 这种常见数字采到的次数多、"奇形怪状的边缘样本"采到的次数少。
• 单纯梯度上升 → 只会输出"最像 7"的那张图,而且每次都一模一样。这是argmax 模式,不是sampling 模式。
真实分布几乎一定是多峰的(数字 0–9 至少 10 个 mode),纯梯度上升不仅输出无变化,还会卡死在距离初始点最近的那个 mode,从此再也跳不出去。
所以朴素方案的失败可以一句话概括:梯度上升只想往山顶爬,但采样要的是"在山上以正比于海拔的概率随机停下"。
四、第一性原理推导(二):加噪声把"爬山"变成"采样"
现在做本章最关键的一个小手术——在梯度上升的右边加一个随机扰动 $\sqrt{\delta}\, \epsilon$,并且把步长写成 $\delta/2$(很快会看到为什么是 $/2$):
$$\boxed{\,x_{k+1} \;=\; x_k \;+\; \frac{\delta}{2}\, \nabla_x \log p(x_k) \;+\; \sqrt{\delta}\, \epsilon_k, \qquad \epsilon_k \sim \mathcal{N}(0, I)\,}$$这就是 Unadjusted Langevin Algorithm(ULA)——又称 Langevin Monte Carlo、Langevin sampling。三个部件做三件事:
- 当前位置 $x_k$:你站的地方;
- 漂移项 $\tfrac{\delta}{2}\nabla_x \log p(x_k)$:朝高密度方向走一小步;
- 扩散项 $\sqrt{\delta}\, \epsilon_k$:往任意方向随机踢一脚。
关键直觉:
- 在低密度区(远离数据流形),$\|\nabla \log p\|$ 很大,漂移占主导——链子被"吸"向数据流形;
- 在高密度区(已经在 mode 附近),$\|\nabla \log p\| \to 0$,扩散占主导——链子在 mode 附近抖动,不会卡死,过几步又能跳到邻近 mode;
- 抖动的大小 $\sqrt{\delta}$ 和漂移的大小 $\delta/2$ 不是随便配的,它们的比例是被一个连续时间方程强制的,下一节就推。
五、为什么是 $\delta/2$ 和 $\sqrt{\delta}$?连续时间 SDE 视角
Vizuara L8 一开场就预告了:Score、EBM、DDPM 最终统一在随机微分方程(SDE)框架里——本节是这个统一的第一个齿轮。
「Today we are going to look at a framework which unifies everything together... we have so far covered variational autoencoders, then DDPMs—denoising diffusion probabilistic models—then we have covered the energy based approach which includes score function and noise conditional score network. Today we are going to look at a framework which unifies everything together.」(L8,chunk #2)
5.1 朗之万 SDE:物理学的源头
"Langevin" 这个名字来自法国物理学家 Paul Langevin(1908),他研究布朗粒子在势场里的运动。物理图景值得花一段把它讲完——因为它直接给出了"为什么这条迭代式能采样"的物理直觉。
想象一颗花粉颗粒漂在水里:
- 它被周围水分子不停撞击——每个撞击是随机的、方向和大小都不可预测、单位时间内的累积效应是高斯白噪声(中心极限定理);
- 同时它处在某种外部势场 $U(x)$ 中(比如重力、电场、化学势),受力 $F = -\nabla U(x)$;
- 水的阻力很大(过阻尼),速度等于受力(牛顿第二定律退化成一阶 ODE)。
把这些写到一起就是过阻尼朗之万方程:
$$dx_t \;=\; -\nabla U(x_t)\, dt \;+\; \sqrt{2}\, dW_t$$其中 $dW_t$ 是 Wiener 过程(标准布朗运动)的增量,$\sqrt{2}$ 是被温度归一化后的强度。如果令势能 $U(x) = -\log p(x)$("低能量 = 高密度",正是 chunk #14–15 那个小球落山谷的画面),就得到:
$$\boxed{\,dx_t \;=\; \nabla_x \log p(x_t)\, dt \;+\; \sqrt{2}\, dW_t\,}$$这条 SDE 有一个了不起的结论:它的平稳分布恰好是 $p(x)$。也就是说,让粒子在 $-\log p$ 的势场里跑得够久,它停留在每一点的频率就正比于 $p(x)$——这才是真正的"从 $p$ 中采样"。换句话说,物理学中"系统在热平衡时的位置分布服从 Boltzmann 分布 $p(x) \propto e^{-U(x)/kT}$"这个结论,反过来给了我们一个采样器:你只要能模拟一段足够长的物理时间,统计粒子位置的频率分布就等于 Boltzmann 分布。
在生成模型的语境里,把目标分布 $p(x)$ 当作 Boltzmann 分布,让能量函数 $U(x) = -\log p(x)$(多差一个常数无所谓,因为常数项的梯度是零)——于是"从 $p$ 中采样"被翻译成"模拟一段朗之万动力学"。这是统计物理学送给机器学习的一个礼物。
5.2 为什么扩散强度恰好是 $\sqrt{2}$?细致平衡视角
很多读者第一次看到 SDE 里那个 $\sqrt{2}$ 都会愣一下——为什么不是 $\sqrt{1}$ 或 $\sqrt{3}$?答案藏在细致平衡(detailed balance)条件里。一个连续时间马尔可夫过程的平稳分布是 $p$,当且仅当 漂移项和扩散项的比例满足:
$$\text{drift} \;=\; D \cdot \nabla \log p, \qquad \text{diffusion variance per unit time} \;=\; 2D$$其中 $D$ 是任选的扩散系数(决定单位时间走多远)。这个关系叫 Einstein 关系,最早由爱因斯坦在 1905 年的布朗运动论文里推出。当我们令 $D = 1$ 就得到 $\sqrt{2}$ 的扩散强度;如果令 $D = 1/2$,则得到 $\sqrt{1}$ 的扩散——两者的比例始终是 $1:2$,决定了平稳分布是 $p$ 而不是其它。
简单说:如果你随意把噪声调大或调小(不动漂移),链子的平稳分布会偏离 $p$;只有这一种比例能恰好给出 $p$。这正是 Langevin 公式里最"神奇"的那个常数。
5.3 Euler–Maruyama 离散化:把 SDE 变成可跑的迭代
SDE 是连续时间的,我们要在计算机里跑就必须离散化。最朴素的方法是 Euler–Maruyama 格式:把 $dt$ 换成步长 $\delta$,把 $dW_t$ 换成 $\sqrt{\delta}\,\epsilon$(因为 Wiener 增量满足 $W_{t+\delta} - W_t \sim \mathcal{N}(0, \delta)$):
离散化(取步长 $\delta$):$\quad x_{k+1} = x_k + \nabla \log p(x_k)\, \delta + \sqrt{2}\, \sqrt{\delta}\, \epsilon_k$
把 $\delta$ 和 $2$ 重新组合(约定 $\delta \to \delta/2$,等价于换了时间尺度的常数): $$x_{k+1} \;=\; x_k \;+\; \frac{\delta}{2}\, \nabla \log p(x_k) \;+\; \sqrt{\delta}\, \epsilon_k$$
Why 是 $\delta/2$?纯粹是历史约定——文献里常把 $\delta$ 写成 SDE 里 $dt$ 的两倍,方差项就刚好是 $\sqrt{\delta}$ 而非 $\sqrt{2\delta}$。两种写法等价,只要漂移和扩散的比例固定。如果你看到别的文献写成 $x_{k+1} = x_k + \eta \nabla \log p + \sqrt{2\eta}\, \epsilon$("$\eta$-版本"),同样正确,只是把 $\delta$ 替换成了 $2\eta$。
Why 比例必须固定?因为这个比例决定了平稳分布。如果你把噪声方差调大一倍(写成 $\sqrt{2\delta}$ 而漂移仍是 $\delta/2$),平稳分布会变成 "温度更高"的 $p(x)^{1/T}$,不再是 $p$ 本身。Annealed Langevin(第八节)就是有意地玩这个温度。
六、能量景观图:Langevin 链子到底在干什么
把所有概念可视化。设 $p(x)$ 是一个 1D 双峰高斯混合(两座山),$-\log p(x)$ 就是两个对称的山谷。Langevin 链子就是一颗在这片山谷里"被踹来踹去的小球":
怎么读这张图:
- 红点是 Langevin 链子 $x_0, x_1, x_2, \dots$ 的轨迹;颜色越浅表示时间越晚;
- 链子从左上方高能量区开始,被漂移项拉下山,掉进左边的山谷(mode 1);
- 它在 mode 1 附近抖动——这里 $\nabla \log p \approx 0$,主要靠噪声;
- 等过了若干步,累积的噪声踢碎了能垒,链子翻到右边山谷(mode 2);
- 长时间统计下来,左右两个 mode 各被访问 50%——正好等于 $p(x)$ 给两座山分配的概率质量。
6.1 把"漂移"和"扩散"分开来看:一个动画式的拆解
把单步 Langevin 拆成两个动作(先漂、后抖),有助于更好理解链子在景观上"走法"。第 $k$ 步:
- "漂":$\tilde x_{k} = x_k + \tfrac{\delta}{2} \nabla \log p(x_k)$——纯梯度上升一小步。在山谷里,这一步把球拉向最近的谷底。
- "抖":$x_{k+1} = \tilde x_k + \sqrt{\delta}\, \epsilon_k$——往任意方向高斯扰动。
这种拆解叫 splitting scheme,在数值 SDE 文献里也被叫做 "Lie-Trotter splitting"。它给出两个工程上有用的结论:
- "漂"是确定性的,可以反复迭代直到接近极值再"抖"——这就是 预条件 Langevin(preconditioned Langevin)的基础;
- "抖"的方差 $\delta$ 不必和"漂"的步长 $\delta/2$ 严格绑定(如果你愿意接受非 $p$ 的平稳分布)。比如把"抖"调大、"漂"不动,得到的平稳分布是 $p^\beta$(温度 $\beta < 1$ 把分布抹平)——这就是 tempered Langevin,常用于跨 mode 探索。
七、离散化误差与 Metropolis–Hastings 修正
上一节的 Euler-Maruyama 离散化引入了一个理论代价:当 $\delta > 0$ 时,链子的平稳分布并不严格等于 $p(x)$,而是 $p$ 的一个 $\mathcal{O}(\delta)$ 偏移。换句话说:
- $\delta \to 0$ 且 $k \to \infty$ 时,$x_k \overset{d}{\to} p(x)$(理论极限);
- 实际 $\delta > 0$ 时,存在离散化偏差——尤其在高曲率区域(密度变化剧烈的地方)。
7.1 朴素办法:把 $\delta$ 调小
把步长砍一半,偏差也就砍一半(一阶精度)。代价:要跑两倍的迭代次数才能走同样的"物理时间"。在高维问题里这非常昂贵。
7.2 严格办法:Metropolis–Hastings 修正
把 Langevin 当成提议分布,每步用 MH 接受/拒绝准则消除离散化偏差。完整算法叫 MALA(Metropolis-Adjusted Langevin Algorithm):
步骤 2:算接受率 $$\alpha = \min\!\left(1,\; \frac{p(x^*) \cdot q(x_k \mid x^*)}{p(x_k) \cdot q(x^* \mid x_k)}\right)$$ 其中 $q(\cdot \mid \cdot)$ 是 Langevin 提议的高斯密度。
步骤 3:接受/拒绝 以概率 $\alpha$ 接受 $x_{k+1} = x^*$;否则 $x_{k+1} = x_k$。
MALA 的平稳分布严格等于 $p$(任意 $\delta$ 下);代价是要算 $p(x^*)/p(x_k)$ 的比值——但这正好是 EBM 的未归一化密度比,配分函数 $Z_\phi$ 在比值里直接消掉,所以可算。
八、Annealed Langevin:在递减噪声尺度上跑
直接对真实数据分布 $p_{\text{data}}$ 跑 Langevin 有两个工程灾难:
- 低密度区 score 估不准:数据流形外面几乎没有训练样本,score network 在那里输出近乎随机。但 Langevin 链子的起点正是纯高斯噪声——它一定在低密度区,第一步就跟错方向。
- 多 mode 之间难以混合:数据流形上的 mode 之间隔着大量低密度区,链子很难从 mode A 翻越到 mode B,mixing time 巨大。
Song & Ermon 在 NCSN(第 8 章)里给出了一招神兵:不要对 $p_{\text{data}}$ 直接采样,对一族递减噪声尺度上的"被平滑分布"依次采样。
取递减序列 $\sigma_1 > \sigma_2 > \dots > \sigma_L \approx 0$。
1. 初始化 $x \sim \mathcal{N}(0, \sigma_1^2 I)$(在最大噪声尺度下采初值)。
2. for $i = 1, 2, \dots, L$ do:
调整步长 $\delta_i = \delta \cdot (\sigma_i / \sigma_L)^2$。
for $k = 1, \dots, T$ do:
$x \leftarrow x + \tfrac{\delta_i}{2} s_\theta(x, \sigma_i) + \sqrt{\delta_i}\, \epsilon$
3. 输出 $x$。
为什么这样能工作?
- 大尺度 $\sigma_1$:$p_{\sigma_1}(x)$ 是真实分布卷上很宽高斯——几乎填满整个空间,低密度区不存在、$s_\theta$ 处处可信、所有 mode 被"模糊"成一个大 blob,容易混合;
- 中等尺度:blob 开始分裂出粗粒度结构("这是数字、这是数字 7"),链子被引导到正确大类;
- 小尺度 $\sigma_L$:$p_{\sigma_L} \approx p_{\text{data}}$,链子最终落到流形上具体某张图。
这正是 chunk #6 提到的"perfume diffusion"的逆过程:annealing 把"扩散开的香水分子"一缩缩缩回到了喷嘴口。
九、收敛性:Langevin 链子要跑多久?
实际跑 Langevin 时,最现实的问题是"我跑 1000 步够吗?10000 步呢?" 这取决于两件事:
9.1 burn-in(预热期)
从初始点出发,链子的分布在前若干步还远没有收敛到 $p$。这段时间叫 burn-in,期间采到的样本统计上不能算作"从 $p$ 采的"。常见做法:跑 $T$ 步、丢掉前 $T/4$ 或 $T/10$ 步,剩下的当样本。
9.2 mixing time(混合时间)
即使过了 burn-in,链子探索整个分布还需要时间。混合时间的严格定义是:让链子的分布和真实 $p$ 的总变差距离降到 $\epsilon$ 所需的步数。对一个有 $K$ 个间隔很远的 mode 的分布,混合时间至少是 $\mathcal{O}(\exp(\Delta E_{\max}))$——这是为什么纯 ULA 在多 mode 上无法用的根本原因。
实践上的判断标准:
- 跑多条独立链子(不同初值),看它们的样本均值/方差是否一致(Gelman-Rubin $\hat R$ 诊断);
- 看自相关函数什么时候衰减到 0——衰减得越慢,每条样本携带的"有效信息"越少;
- 实际生成模型里,因为只要图像看起来合理就行、不需要严格统计保证,多数论文跑固定的 $L \times T$ 步(如 NCSN 默认 $L=10$ 噪声尺度 × $T=100$ 步 = 1000 总步数)。
十、失败模式:Langevin 什么时候会出问题
把可能踩坑的地方列清楚,比记公式更重要。
10.1 Score 估不准 → 链子走错方向
已经讨论过:低密度区训练样本稀少,denoising score matching 的目标在那里几乎没有信号。Annealed Langevin 是工程上的标准修法。一个更隐蔽的问题是过拟合 score——当 score network 把训练样本本身记得太死,链子会被吸进训练样本而不是它们的"流形邻域",输出看起来像数据集里的某张图(缺乏新颖性)。
10.2 Mode 之间隔得太远 → mixing time 爆炸
如果两个 mode 之间的能垒高度是 $\Delta E$,理论上链子翻越它需要的时间是 $\mathcal{O}(\exp(\Delta E / T))$(Eyring–Kramers 公式)。在多 mode 数据集(如 MNIST 10 个数字)上,纯 ULA 几乎不会跨 mode 切换。这又一次说明 annealing 的必要——大尺度时所有 mode 合并成一个 blob,能垒被抹平。
10.3 步长 $\delta$ 调得不对
- $\delta$ 太大:链子会"飞出"高密度区、进入 score 不可信的地方,发散;
- $\delta$ 太小:单步几乎不动,需要的迭代次数爆炸;
- 实践:Song & Ermon 推荐 $\delta_i = \epsilon \cdot \sigma_i^2 / \sigma_L^2$,把步长按噪声尺度平方缩放。Why:大噪声尺度上 score 量级小(分布更平),需要更大步长才能动得起来;小尺度反之。
10.4 高维 score 不准的"概率泡沫"
在高维空间里,绝大多数体积都集中在典型集(typical set)—— 一层薄壳。如果初始化扔到了典型集外面,纯 Langevin 不仅 score 估不准、连"该往哪个 mode 走"都搞错。再次:annealing 是救星。还有一个推论:高维下"用 $\mathcal{N}(0, I)$ 采初值"和"低密度区"几乎是同义词,因为典型集的薄壳在像素空间里是一个非常小的子集。这也是为什么 score-based 方法不能跳过 annealing 直接用 ULA——单尺度 ULA 在像素空间根本走不到任何 mode。
十一、最小可跑的 Langevin 采样:1D 双峰高斯混合
下面是一个 60 行就能跑通的玩具实验,用已知的 $\log p$(不需要训神经网络)来直观验证"Langevin 链子的样本分布会收敛到 $p$"。
import torch
import matplotlib.pyplot as plt
# ===== 目标分布:两个高斯的等权混合 =====
# p(x) = 0.5 * N(x; -2, 1) + 0.5 * N(x; +2, 1)
def log_p(x):
log_g1 = -0.5 * (x + 2.0) ** 2 # 未归一化
log_g2 = -0.5 * (x - 2.0) ** 2
return torch.logsumexp(torch.stack([log_g1, log_g2]), dim=0)
def score(x):
# 对 log_p 自动求导得到 ∇_x log p(x)
x = x.detach().requires_grad_(True)
lp = log_p(x).sum()
g, = torch.autograd.grad(lp, x)
return g
# ===== Langevin sampling =====
def langevin_sample(n_chains=2000, n_steps=1000, delta=0.05):
# 初始化在远离 mode 的位置:x_0 ~ N(0, 5^2)
x = torch.randn(n_chains) * 5.0
for _ in range(n_steps):
g = score(x)
eps = torch.randn_like(x)
x = x + 0.5 * delta * g + (delta ** 0.5) * eps
return x.detach()
samples = langevin_sample()
# ===== 对比真实 p(x) =====
xs = torch.linspace(-6, 6, 400)
true_p = 0.5 * torch.exp(-0.5 * (xs + 2)**2) / (2*torch.pi)**0.5 \
+ 0.5 * torch.exp(-0.5 * (xs - 2)**2) / (2*torch.pi)**0.5
plt.hist(samples.numpy(), bins=80, density=True, alpha=0.5, label='Langevin samples')
plt.plot(xs.numpy(), true_p.numpy(), 'r-', lw=2, label='True p(x)')
plt.legend(); plt.xlabel('x'); plt.ylabel('density')
plt.title('Langevin sampling on a 2-mode GMM')
plt.show()
跑完会看到的现象:
- 1000 步之后,2000 条链子的样本直方图与红色真实 $p(x)$ 高度重合;
- 左右两个 mode 大约各占一半——这是抖动让链子能跨过中间能垒的直接证据;
- 如果你把
(delta ** 0.5) * eps这一行去掉(关掉噪声),所有链子全部聚到了离自己最近的 mode 上、密度变成两个 δ 函数——这就是 argmax 失败模式。
十二、把所有线索接起来:score-based 生成的完整闭环
到这里,"用 score 生成样本"的整条流水线终于齐备:
- 建模目标:估计 $\nabla_x \log p_{\text{data}}(x)$(不是 $p$ 本身,不需要 $Z$,EBM 的福音);
- 学:denoising score matching 配多个噪声尺度(NCSN),得到 $s_\theta(x, \sigma)$;
- 采:annealed Langevin dynamics(本章)从纯噪声出发,沿递减噪声尺度迭代式去噪到 $p_{\text{data}}$。
这条路线第一次在 CIFAR-10 上把"用 score 生成"做到了和 GAN 同档的 FID(Song & Ermon 2019)。一年后 Song et al. 2021 在《Score-Based Generative Modeling through SDEs》里把这一切和 DDPM 一并写进 SDE 框架——也就是 Vizuara L8 那句"unifying framework"。
- HMC / underdamped Langevin:把动量项加回来("小球除了位置还有速度"),mixing time 在高维上比 ULA 更快。在大型 EBM 训练中常用。
- Predictor-Corrector 采样(Song et al. 2021):把 SDE 的 Euler-Maruyama "predictor" 和 Langevin "corrector" 交错使用——两者的组合比单独跑任一一个都更稳。这是 score SDE 论文的事实标准采样器。
- Probability-flow ODE:把 Langevin 的随机项扔掉、改成等价的 ODE。代价是失去多样性、但获得了"deterministic invertible map"——这是 DDIM、consistency model 的根基(详见 第 15 章)。
- Tweedie 公式:把"预测噪声 $\epsilon_\theta$"和"score $\nabla \log p_\sigma$"显式联系起来,$\epsilon_\theta(x_t, t) = -\sigma_t \cdot s_\theta(x_t, t)$。这一公式是 DDPM ↔ NCSN 互译的钥匙,下一章 第 10 章会用到。
本章要记住的(讲师线索 + 推导命门)
- Score 是矢量场,Langevin 是"走法"。前者告诉你"哪里高",后者告诉你"怎么按密度比例去那里"。两者合起来才完成 score-based 生成的闭环。
- 核心迭代:$x_{k+1} = x_k + \tfrac{\delta}{2} \nabla_x \log p(x_k) + \sqrt{\delta}\, \epsilon_k$,$\epsilon_k \sim \mathcal{N}(0, I)$。漂移项往 mode 拉、扩散项防止卡死。
- 为什么必须有噪声:去掉 $\sqrt{\delta}\,\epsilon$ 退化成梯度上升,结果是 mode 上的 δ 函数(argmax),不是从 $p$ 采样。"找峰值" ≠ "按密度采样"。
- 为什么这迭代恰好采到 $p$:它是 SDE $dx_t = \nabla \log p\, dt + \sqrt{2}\, dW_t$ 的 Euler-Maruyama 离散化,该 SDE 的平稳分布正好是 $p(x)$(Fokker-Planck 平稳态验证)。
- 离散化代价:$\delta > 0$ 时存在 $\mathcal{O}(\delta)$ 偏差;可用 MALA(Metropolis–Hastings)做严格修正,但生成模型里几乎都用 ULA。
- annealed Langevin 是工程必需:直接对 $p_{\text{data}}$ 跑会被"低密度区 score 不准 + 多 mode 难混合"双杀;沿递减噪声尺度 $\sigma_1 > \dots > \sigma_L$ 跑解决这两个问题。
- 和 DDPM 的同构:DDPM 反向每一步本质是带噪声尺度 $t$ 的 Langevin(Tweedie 公式把 $\epsilon$ 预测和 score 显式联系)。L8 的 SDE 框架就是把它们合二为一。