Score Matching 与 Tweedie 公式
怎么训练 score 网络?两条等价路径。
10. Score Matching 与 Tweedie 公式
主源:CMU 10799 S26 Lecture 4「Score-based Models」(讲师 Yilun Du / Dora);副源:Vizuara《Principles of Diffusion Models》Lecture 6(Denoising Score Matching)、Lecture 7(NCSN)。
📌 TL;DR
上一章我们说"DDPM 训的就是 $\epsilon$ 预测器",但这条路只是 diffusion 的 DDPM 视角。本章打开 score 视角:与其学一个 noise predictor,不如直接学 score function
$$s_\theta(x) \;\approx\; \nabla_x \log p(x).$$困难是 $\log p(x)$ 本身不可达,所以 naive 的回归不可行。本章给两条等价路径:
- Hyvärinen (2005) Implicit Score Matching:通过分部积分,把无法计算的 $\nabla \log p_\text{data}$ 替换成 Jacobian 迹 + L2 自身范数——绕过了对真实 score 的依赖;但 Jacobian 太贵。
- Vincent (2011) Denoising Score Matching:先给数据加高斯噪声 $\tilde x = x + \sigma \epsilon$,让目标变成 预测 $-\epsilon/\sigma$。这就是 DDPM 的 $\epsilon$-loss 在每个噪声层级上的 score-matching 解释。
最后用 Tweedie 公式 $\mathbb{E}[x \mid y] = y + \sigma^2 \nabla_y \log p(y)$ 把"score = (干净估计 − 含噪观测) / 方差"打通,统一 denoising 与 scoring 两种说法。
开篇用 score 视角的理由:DDPM 推到 SDE / Flow Matching / consistency model 时,原来的 $\epsilon$-prediction 框架会变窄;而 score 框架可以无缝扩到任意噪声分布、任意时间连续过程。本章是 Module 3 的地基。
零、为什么要单独有一章讲 score matching?
读到这里你可能心里嘀咕:上一章 DDPM 已经能跑了,损失就是简单的 $\|\epsilon - \epsilon_\theta\|^2$,为什么还要换个视角讲一遍?三个答案:
- 它讲清了 DDPM 的"为什么":DDPM 的 $\epsilon$-loss 并不是凭空设计的工程 trick,它在数学上等价于"score matching"——一个 2005 年就有的统计学问题。理解了 score matching,你就能把 DDPM 推导出来,而不仅是记住它。
- 它是后续所有连续时间方法的入口:Score SDE、Flow Matching、Consistency Models、Rectified Flow 全部建立在 score 视角上。如果你只懂 DDPM 视角,看 2022 年后的论文会处处卡壳。
- 它让你能复用"非高斯"想法:score 视角天然兼容任意可微噪声扰动;DDPM 的 $\epsilon$-loss 只对加性高斯成立。前者是"研究语言",后者是"教学语言"。
一、从似然窘境开篇:CMU 讲师为什么不走 likelihood?
CMU 10799 Lecture 4 一开场就回顾上一讲(DDPM):训练时回归噪声 $\epsilon$,采样时一步步去噪。讲师随即把镜头拉远,问一个更基础的问题:
讲师把所有"显式估计 likelihood"的方法过了一遍,每个都判了死刑:
- Autoregressive(如 PixelCNN):链式法则下逐像素算条件概率,高维数据下慢到无法接受;
- VAE:你不是在算 $\log p(x)$,而是在最大化 ELBO(一个 surrogate loss)—— 即使做了那么多硬数学,本质还是"次优";
- Normalizing Flow:必须设计可逆架构,"weird architectures",灵活性受限;
- EBM(能量模型):分母里的 partition function $Z = \int e^{-E(x)} dx$ 一般 intractable。
讲师随后甩出一个关键反问:
"is there a better way to do sort of likelihood free training? ... if we just want to do sampling, uh do we actually need to have a model to actually predict the likelihood of the data to sample from?"
答案是:不需要。我们想要的只是采样——一台能产出像训练数据的样本的机器。所以问题可以缩窄成:"怎么把一个起始分布的样本变换到目标分布的样本?"
二、Score Function:把"指南针"放进数据空间
CMU 讲师在白板上画了一个二维平面,上面散落着不同颜色的点(混合高斯)。然后说:
正式定义:
$$s(x) \;\triangleq\; \nabla_x \log p(x).$$这是 $x$ 的函数——平面上每个点都对应一个向量,它指向对数密度上升最快的方向。这就是 score function。讲师反复强调:"we don't really actually need the likelihood ... all we need is sort of like the gradient of the log likelihood."
Vizuara Lecture 6 给了一个更口语的比方:
把这两版合并:score 就是数据空间上每点的指南针,永远指向最近的高密度区域。
2.1 为什么是 $\log p$ 的梯度,不直接是 $p$ 的梯度?
讲师在被同学打断时给了个简洁回答:"log is easier to calculate in many cases."。展开两条理由:
- 数值稳定:$p(x)$ 在高维下数值上接近 0,梯度更接近 0;$\log p(x)$ 把它拉回可计算的范围。
- 归一化常数消失:若 $p(x) = \tilde p(x) / Z$,则 $\nabla_x \log p(x) = \nabla_x \log \tilde p(x) - \nabla_x \log Z = \nabla_x \log \tilde p(x)$。partition function $Z$ 不依赖 $x$,对 $x$ 求导就消失了——score 视角天然绕开了 EBM 最大的难题。
2.2 拿到 score 之后怎么用?Langevin 采样的预告
CMU 讲师在这里没展开,但暗示了下一章的伏笔:一旦你有了 $s(x) \approx \nabla \log p(x)$,就可以用朗之万动力学从噪声出发"爬"到高密度区:
$$x_{k+1} \;=\; x_k + \frac{\eta}{2} s(x_k) + \sqrt{\eta}\, \xi_k, \quad \xi_k \sim \mathcal{N}(0, I).$$这就是 Stein "gradient flow" 的离散化,类似带噪声版本的梯度上升。你可以把它想成"带温度的优化器"——主项 $\frac{\eta}{2} s(x_k)$ 是沿 score 上升,附加项 $\sqrt{\eta}\, \xi_k$ 是高斯抖动;少了抖动你只能爬到某个局部模式,加了抖动你才能"跳出来"按真实密度采样。下一章会专门讲它怎么从 score 出发把噪声变成数据,本章只要把"sampler 只需 score"这件事认下。
2.3 起点分布的限制
有同学问 CMU 讲师:"如果用 score 沿着梯度走,起点是不是要在某个特定分布上?" 讲师回答:
翻译过来:起点可以是同一个空间里任何方便采样的分布(比如各向同性高斯),只要它的支撑覆盖了目标分布所在区域。score 流动会把它"梳"到目标分布。"同空间但不同分布"是 score-based 采样最朴素的设置。
三、Naive 思路为什么不行:你算不出真实的 $\nabla \log p_\text{data}$
最直觉的训练目标是显式 score matching(Hyvärinen 2005,简称 ESM):
$$J_\text{ESM}(\theta) \;=\; \tfrac{1}{2}\,\mathbb{E}_{x \sim p_\text{data}}\!\left[\,\big\|\,s_\theta(x) - \nabla_x \log p_\text{data}(x)\,\big\|^2\,\right].$$语义直白:让神经网络输出的向量 $s_\theta(x)$ 尽量贴近真实数据分布的 score。问题:
- 我们只有有限训练样本 $\{x_1, x_2, \dots, x_N\}$;
- 不知道 $p_\text{data}(x)$ 的解析形式,更别说它的对数梯度。
"用经验分布 $\hat p$ 代替 $p_\text{data}$" 也救不了——$\hat p$ 是一堆 delta 函数之和,对它求 $\nabla \log \hat p$ 在样本点上是无穷大、其他地方是 0,几乎处处不可用。
Vizuara Lecture 7 用一个磁铁比喻把这种"目标依赖未知量"的怪圈讲透:
"看不见的磁铁"就是隐藏的 $p_\text{data}$,"被磁场拉的方向"就是 score。我们要在不知道磁铁位置的前提下估计磁场——这就是 score matching 解决的问题。
四、Hyvärinen 的魔术:分部积分把 $\nabla \log p_\text{data}$ 变没
这是本章最重要的数学推导。我们要把 $J_\text{ESM}$ 一步步变形,让最终目标里完全没有 $p_\text{data}$ 的 score。下面给完整 6 步。
边界项为 0 的条件:当 $\|x\| \to \infty$ 时 $p_\text{data}(x) \to 0$ 且 $s_\theta(x)$ 增长不超过指数级,乘积趋于 0。这一温和的"regularity assumption"是 Hyvärinen 2005 的核心假设。
- $\operatorname{tr}(\nabla_x s_\theta(x))$:score 网络自己的 Jacobian 迹(用 autograd 算);
- $\|s_\theta(x)\|^2$:score 网络输出的范数平方(直接算)。
4.1 用一个一维玩具例子手算 ISM
抽象推导容易把人绕晕,给一个最小例子坐实 ISM 真的能跑:假设 $p_\text{data}(x) = \mathcal{N}(x; 0, 1)$(虽然现实里我们不会知道这件事,但用它能验证 ISM 的正确性),并让 $s_\theta(x) = -\theta x$(线性 score 网络,一个标量参数)。理论真实 score 是 $\nabla \log p(x) = -x$,所以最优 $\theta^* = 1$。
把 $s_\theta(x) = -\theta x$ 代入 ISM:
$$J_\text{ISM}(\theta) = \mathbb{E}_p\!\left[\frac{\partial(-\theta x)}{\partial x} + \tfrac{1}{2}(-\theta x)^2\right] = \mathbb{E}_p\!\left[-\theta + \tfrac{1}{2}\theta^2 x^2\right] = -\theta + \tfrac{1}{2}\theta^2 \mathbb{E}_p[x^2].$$$\mathbb{E}_p[x^2] = 1$(标准正态的方差),所以 $J_\text{ISM}(\theta) = -\theta + \tfrac{1}{2}\theta^2$。对 $\theta$ 求导令零:$-1 + \theta = 0 \Rightarrow \theta^* = 1$。和真实 score 完全一致。
注意整个推导过程里我们从未用到 $-x$ 这个真实 score 的表达式——只用了样本的二阶矩 $\mathbb{E}[x^2]$ 和网络自身的导数 $-1$。这就是 Hyvärinen trick 的力量在最小例子里的体现。
五、ISM 也有问题:Jacobian 迹太贵
ISM 看似完美,但有一个工程灾难:
- $s_\theta$ 输入是 $d$ 维(比如 $32 \times 32 \times 3 = 3072$ 维的图像),输出也是 $d$ 维;
- $\nabla_x s_\theta(x)$ 是 $d \times d$ 的 Jacobian 矩阵;
- 算迹 $\operatorname{tr}(\nabla_x s_\theta)$ 需要 $d$ 次反向传播(每次只算一个对角元);
- 对一张 $256 \times 256 \times 3$ 的图像,$d = 196{,}608$——训练一步要做 20 万次反传。
实际可用的折中包括:
- Sliced Score Matching(Song et al. 2019):用随机投影方向估计迹,把开销从 $d$ 次反传降到 1 次(带方差);
- Denoising Score Matching(Vincent 2011):彻底绕开 Jacobian,靠"加噪声 + 解析 score"换来闭式目标。这就是 DDPM 实际在用的方法,也是下一节的主题。
六、Denoising Score Matching:换一个噪声分布把目标变成回归
Vincent (2011) 的洞察:与其学 $p_\text{data}$ 的 score,不如学"加了噪声的 $p_\text{data}$"的 score。具体地,定义噪声扰动分布
$$q_\sigma(\tilde x \mid x) \;=\; \mathcal{N}\!\big(\tilde x;\, x,\, \sigma^2 I\big), \qquad q_\sigma(\tilde x) \;=\; \int q_\sigma(\tilde x \mid x)\, p_\text{data}(x)\, dx.$$我们改成学 $s_\theta(\tilde x) \approx \nabla_{\tilde x} \log q_\sigma(\tilde x)$。Vincent 证明:
$$\underbrace{\tfrac{1}{2}\mathbb{E}_{q_\sigma(\tilde x)}\!\left[\,\big\|s_\theta(\tilde x) - \nabla_{\tilde x} \log q_\sigma(\tilde x)\big\|^2\,\right]}_{\text{扰动后的 ESM(仍不可算)}} \;\overset{c}{=}\; \underbrace{\tfrac{1}{2}\mathbb{E}_{p_\text{data}(x)\, q_\sigma(\tilde x \mid x)}\!\left[\,\big\|s_\theta(\tilde x) - \nabla_{\tilde x} \log q_\sigma(\tilde x \mid x)\big\|^2\,\right]}_{\text{Denoising SM(可算)}}.$$左边的目标依然依赖未知的 $\log q_\sigma(\tilde x)$;但右边的目标只依赖条件 score $\nabla_{\tilde x} \log q_\sigma(\tilde x \mid x)$,而这个对高斯条件分布有解析解:
$$\nabla_{\tilde x} \log q_\sigma(\tilde x \mid x) \;=\; \nabla_{\tilde x}\left[-\frac{\|\tilde x - x\|^2}{2\sigma^2}\right] \;=\; -\frac{\tilde x - x}{\sigma^2} \;=\; -\frac{\sigma \epsilon}{\sigma^2} \;=\; -\frac{\epsilon}{\sigma}.$$(这里用了 $\tilde x = x + \sigma \epsilon$,所以 $\tilde x - x = \sigma \epsilon$。)
所以 DSM 目标可写成:
$$J_\text{DSM}(\theta) \;=\; \tfrac{1}{2}\,\mathbb{E}_{x \sim p_\text{data},\, \epsilon \sim \mathcal{N}(0, I)}\!\left[\,\left\|\, s_\theta(x + \sigma \epsilon) + \frac{\epsilon}{\sigma}\,\right\|^2\,\right].$$6.1 DSM = "教网络做去噪"
Vizuara Lecture 6 用一句口语把 DSM 包装成"训练一个去噪器":
这就把 score matching 和 denoising 直接画了等号。"score = pointer back to clean data"。我们后面会用 Tweedie 公式把这句话精确说出来。
用磁铁的比喻再补一刀:Vizuara Lecture 7 接着上一节的磁铁问题问——既然你看不见所有磁铁、只看得见桌上的钢珠(训练样本),那"把钢珠拖到桌边再松手"就行了。钢珠被磁场拖回原位置的方向,就是你想学的 score。这正是 DSM 的物理直觉:
- 从数据集采 $x$(钢珠原位);
- 拖到 $\tilde x = x + \sigma \epsilon$(钢珠被推走);
- 让网络预测"被拖走的反方向"$-\epsilon/\sigma$ —— 即"磁铁回拉的方向";
- 所有训练样本一起采样了整个磁场,模型由此学到 score 向量场。
这个比喻的精妙之处:你不需要知道磁铁的位置($p_\text{data}$ 的解析形式),只要给"钢珠 + 推力"对子,磁场就能反推出来。
6.2 DSM 和 DDPM 的 $\epsilon$-loss 是同一个东西
回想 第 7 章 我们写过的 DDPM 简化损失:
$$L_\text{simple} = \mathbb{E}_{t, x_0, \epsilon}\!\left[\,\|\epsilon - \epsilon_\theta(x_t, t)\|^2\,\right], \quad x_t = \sqrt{\bar\alpha_t}\, x_0 + \sqrt{1 - \bar\alpha_t}\, \epsilon.$$把 noise predictor 换写成 score:
$$s_\theta(x_t, t) \;\triangleq\; -\frac{\epsilon_\theta(x_t, t)}{\sqrt{1 - \bar\alpha_t}}.$$那 $L_\text{simple}$ 就等价于在每个噪声层级 $\sigma_t = \sqrt{1 - \bar\alpha_t}$ 上做 DSM——目标是 $-\epsilon/\sigma_t$。这就是 score-based 视角(Song & Ermon 2019)和 DDPM 视角(Ho et al. 2020)的真正统一公式。
6.3 工程细节:在多噪声层级训一个网络
NCSN(Noise Conditional Score Network, Song & Ermon 2019)的关键工程选择是:
- 单一网络,输入是 $(\tilde x, \sigma)$(或者时间步 $t$)——条件化噪声层级;
- 训练目标按 $\sigma$ 加权:噪声大时给小权重(梯度幅值天然大),噪声小时给大权重(梯度容易消失);
- 常用加权 $\lambda(\sigma) = \sigma^2$,让每个层级对 loss 的贡献量纲一致。
Vizuara Lecture 7 把这套思路概括为"从大噪声一直退到小噪声,score 网络全程在场"——score 视角下的 DDPM 自然是 noise-conditional 的,这一点 DDPM 视角不是那么显眼。
为什么不能只训一个 $\sigma$? Song & Ermon 2019 的原始论文里给了一个直观图:低密度区域的 score 估计在单一噪声层级下方差极大(因为那里几乎没训练样本),所以朗之万会卡在低密度区出不来。解决办法是退火(annealed Langevin):
- 先用大 $\sigma$ 训一个粗糙 score,让它在整个空间都有合理估计(大噪声把数据"涂抹"到整个空间);
- 再用小 $\sigma$ 训一个精细 score,让它在数据流形附近给出锐利方向;
- 采样时从大到小依次过 $\sigma$——这就是 DDPM 的反向时间步!
所以 DDPM 的"从 $T$ 到 1 逐步去噪"和 NCSN 的"从大 $\sigma$ 退火到小 $\sigma$"是同一件事的两种语言。后续 Score SDE 章 会把它们正式焊接。
七、Tweedie 公式:denoising 与 scoring 的桥梁
到此我们有两个看似不同的目标:
- denoising:给定含噪 $\tilde x$,估计干净 $x$;
- scoring:给定含噪 $\tilde x$,估计 $\nabla_{\tilde x} \log q_\sigma(\tilde x)$。
看上去这是两件事,但 Tweedie 公式(Robbins 1956, popularized by Efron)告诉我们它们在高斯噪声下是同一个东西。
7.1 公式陈述
设 $x$ 的先验为 $p(x)$,含噪观测 $y = x + \sigma \epsilon$($\epsilon \sim \mathcal{N}(0, I)$)。则:
$$\boxed{\;\mathbb{E}[x \mid y] \;=\; y + \sigma^2\, \nabla_y \log p(y),\;}$$其中 $p(y) = \int p(x) \mathcal{N}(y; x, \sigma^2 I) dx$ 是边缘观测分布。
7.2 推导(三步)
7.3 几何与语义
把公式重排:
$$\sigma^2 \,\nabla_y \log p(y) \;=\; \mathbb{E}[x \mid y] - y \;=\; \underbrace{\text{后验均值(干净估计)}}_{\hat x_\text{MMSE}} - \underbrace{\text{含噪观测}}_{y}.$$把它说出来:
Score = (干净数据的后验均值估计 − 当前含噪点) / 噪声方差。
换言之,score 向量从含噪点指向"最有可能的干净点",幅值由噪声方差缩放。这就是为什么 score matching 和 denoising 是一回事——它们都在估计"我应该往数据流形的哪个方向偏移"。
三种值得反复念的等价表述:
- 统计学家说法:score 是含噪点到 MMSE 估计的位移,除以方差。
- 几何学家说法:score 是从当前点到数据流形最近高密度区的"重力方向",被 $\sigma^2$ 拉伸。
- 工程师说法:score 网络其实就是一个隐式 denoiser,把"它在算 score"和"它在估 $x_0$"看成同一件事。
这种"一公式三身份"是 Tweedie 在 diffusion 教学里地位崇高的原因——它把无关联的三个概念绑成一个数学对象。
7.4 Tweedie 把 score predictor 和 noise predictor 也统一了
把 $\tilde x = x + \sigma \epsilon$ 代入 Tweedie:
$$\mathbb{E}[x \mid \tilde x] = \tilde x + \sigma^2 \nabla_{\tilde x} \log q_\sigma(\tilde x) = \tilde x + \sigma^2 \cdot s_\theta(\tilde x).$$另一方面,若网络学的是 $\epsilon$-predictor $\epsilon_\theta(\tilde x)$,则同样的后验均值是:
$$\mathbb{E}[x \mid \tilde x] \approx \tilde x - \sigma \cdot \epsilon_\theta(\tilde x).$$对比两式得到三大预测目标的三角恒等式:
$$\boxed{\;s_\theta(\tilde x) \;=\; -\frac{\epsilon_\theta(\tilde x)}{\sigma} \;=\; \frac{\hat x_0(\tilde x) - \tilde x}{\sigma^2}\;}$$这三种"参数化"(score / noise / $x_0$-prediction)在数学上完全等价。选哪个只是训练稳定性和工程便利的问题,不是表达力的问题。
八、把 Tweedie 用到极致:score 网络究竟在算什么?
给定一个训练好的 score 网络 $s_\theta(x_t, t)$,Tweedie 让我们能立刻读出网络的"隐藏估计":
- 当前对干净图的最佳猜测:$\hat x_0(x_t) = x_t + \sigma_t^2 \cdot s_\theta(x_t, t)$。
- 当前残余噪声的估计:$\hat \epsilon(x_t) = -\sigma_t \cdot s_\theta(x_t, t)$。
这两条让 score 网络变成了一个可视化诊断工具:训练过程中你可以在每个 $t$ 取一张图,输出 $\hat x_0$,看它什么时候开始"像数据"。在 DDPM/EDM 工程里这是标准 sanity check。
一个具体诊断流程:训完后取一组随机 $\sigma_t$,把同一张噪声 $x_t$ 喂给网络,把 $\hat x_0$ 渲染成图:
- 大 $\sigma$(接近纯噪声):$\hat x_0$ 应该是模糊轮廓——网络只能猜大致结构("是个人脸吗?");
- 中等 $\sigma$:$\hat x_0$ 应该出现清晰的中层结构(五官位置);
- 小 $\sigma$(接近干净):$\hat x_0$ 应该是细节清晰的图像。
如果你训出来的网络在大 $\sigma$ 下就给出清晰但错的 $\hat x_0$,那是过拟合到训练集;如果在小 $\sigma$ 下还在出模糊图,那是欠拟合或 schedule 没对齐。$\hat x_0$ 可视化是 diffusion 调参的第一把尺。
九、PyTorch 训练骨架(DSM in one screen)
下面是一个完整可跑的 single-$\sigma$ Denoising Score Matching 训练循环。把它扩成 multi-$\sigma$ 就是 NCSN;再加上线性 $\bar\alpha_t$ schedule 就是 DDPM:
import torch
import torch.nn as nn
import torch.nn.functional as F
class ScoreNet(nn.Module):
"""最小 score 网络:输入 (x, sigma),输出与 x 同维的 score 向量。"""
def __init__(self, x_dim=784, h=512):
super().__init__()
self.net = nn.Sequential(
nn.Linear(x_dim + 1, h), nn.SiLU(),
nn.Linear(h, h), nn.SiLU(),
nn.Linear(h, x_dim),
)
def forward(self, x, sigma):
# sigma: (B, 1) 当成额外输入条件化噪声层级
s = self.net(torch.cat([x, sigma], dim=-1))
return s
def dsm_loss(model, x, sigma_min=0.01, sigma_max=1.0):
B = x.size(0)
# 1) 随机采一个噪声层级(log-uniform)
log_sigma = torch.empty(B, 1, device=x.device).uniform_(
torch.log(torch.tensor(sigma_min)),
torch.log(torch.tensor(sigma_max)),
)
sigma = log_sigma.exp()
# 2) 加高斯噪声
eps = torch.randn_like(x)
x_noisy = x + sigma * eps # x̃ = x + σε
# 3) 网络预测 score
s = model(x_noisy, sigma) # s_θ(x̃, σ)
# 4) 目标 score = -ε/σ(Vincent 2011 闭式)
target = -eps / sigma
# 5) 加权 L2(λ(σ)=σ²,让各噪声层级 loss 量纲一致)
loss = ((s - target).pow(2) * sigma.pow(2)).mean()
return loss
# 训练循环(伪代码骨架)
model = ScoreNet()
opt = torch.optim.Adam(model.parameters(), lr=2e-4)
for step, x in enumerate(loader):
loss = dsm_loss(model, x)
opt.zero_grad(); loss.backward(); opt.step()
每一行的对应:
sigma采样:对应 NCSN 的"多噪声层级训练"思路;x_noisy = x + sigma * eps:对应 $\tilde x = x + \sigma \epsilon$;target = -eps / sigma:对应 Vincent 2011 的闭式条件 score $-\epsilon/\sigma$;sigma.pow(2)加权:对应 $\lambda(\sigma)=\sigma^2$ 让损失在各 $\sigma$ 下量纲一致;- 没有 Jacobian!没有 ISM!全程只是 MSE 回归。
target = -eps(漏掉 $1/\sigma$)—— 这样在 $\sigma$ 很小时目标会趋向 $-\epsilon$ 而非 $-\epsilon/\sigma$,把不同噪声层级混在一起训练,模型死活学不到细噪声。记住:score 的量纲是 $1/x$,越小的 $\sigma$ score 越大。
十、ESM vs ISM vs DSM 一张表回顾
把三种 score matching 目标的关键差异列出来:
- ESM (Explicit Score Matching, Hyvärinen 2005)
$J = \tfrac{1}{2}\mathbb{E}_p[\|s_\theta(x) - \nabla \log p(x)\|^2]$
✗ 需要 $\nabla \log p$,不可用,只是理论起点。 - ISM (Implicit Score Matching, Hyvärinen 2005)
$J = \mathbb{E}_p[\operatorname{tr}(\nabla s_\theta) + \tfrac{1}{2}\|s_\theta\|^2]$
✓ 不需要 $p$ 的 score;✗ Jacobian 迹 $O(d)$ 反传,高维图像几乎不可行。 - DSM (Denoising Score Matching, Vincent 2011)
$J = \tfrac{1}{2}\mathbb{E}_{p, \epsilon}[\|s_\theta(\tilde x) + \epsilon/\sigma\|^2]$
✓ 闭式条件 score;✓ 只是 MSE 回归;✗ 学的是 $q_\sigma$ 的 score 而非 $p$ 的——只在 $\sigma \to 0$ 极限下逼近 $p_\text{data}$。 - SSM (Sliced Score Matching, Song et al. 2019)
用随机投影估计 ISM 中的 Jacobian 迹。当目标是真实 $p_\text{data}$ 时仍是首选,但实际生成中很少用。
十一、Score 视角 vs DDPM 视角:什么时候用哪个?
三种视角的能力边界(教材外的现代综合,标黄):
- DDPM 视角(ELBO + $\epsilon$-loss):直观、训练稳定、与 VAE 共享数学骨架。但当噪声不是高斯、或者过程是连续时间时,ELBO 框架变得很难写。
- Score 视角:直接学向量场 $\nabla \log p$,对噪声分布、时间离散化都不敏感。它能无缝扩到 Score SDE(Song 2021)、Flow Matching(Lipman 2023)、Consistency Models(Song 2023)。
- x_0-prediction 视角(EDM、Karras 2022):直接学 denoiser,工程上数值最稳。SOTA 图像 diffusion 多数用这个(SDXL、SD3 内部都是 v-pred / x_0-pred)。
十二、常见误解纠偏
本章数学不复杂,但容易被滑过去的细节不少。下面列三条新手最常踩的坑:
不是。DSM 学的是 加了噪声后 $q_\sigma$ 的 score。只有当 $\sigma \to 0$ 时 $q_\sigma \to p_\text{data}$,二者才趋于一致。训出来的 score 网络在 $\sigma$ 很小时反而最不准(因为流形薄、数据稀疏),所以采样末段总是不稳——这是 NCSN/DDPM 都会遇到的问题。
反了。score 越大说明你离高密度区越远——你需要走的步子越大。在数据中心 $\nabla \log p \approx 0$,因为那里是密度的局部极大点。直觉记法:"score 是引力,离星球越远引力越强(直到无穷远,但近邻区力最足)"。
对。Tweedie 在原本形式下要求是高斯通道 $y = x + \sigma \epsilon$。其他噪声(泊松、椒盐、blur)有自己的"广义 Tweedie"形式,但都没有 $y + \sigma^2 \nabla \log p$ 这么干净。所以 diffusion 默认用高斯噪声,不只是因为方便,而是因为高斯通道让"score = denoiser"的对偶成立。
十三、回到 Module 3 的脉络
本章把 score 视角的训练问题讲完了:
- 我们要学的目标是向量场 $s_\theta(x) \approx \nabla \log p(x)$;
- Hyvärinen 2005 用分部积分把不可算的 ESM 变成可算的 ISM——但 Jacobian 太贵;
- Vincent 2011 用"先加噪、再回归"把 ISM 简化成 MSE 形式的 DSM;
- Tweedie 公式把 score / noise / $x_0$ 三种预测目标焊死成同一组等式;
- DDPM 的 $\epsilon$-loss 在每个 $\sigma_t$ 上其实就是 DSM,确认了 score-based 与 DDPM 是同一座山的两面。
下一章我们要解决采样问题:训好的 score 网络怎么生成样本?答案是 Langevin 动力学——把 score 当成势能场,让粒子沿场流动到高密度区。再下一章把 Langevin 升级到 Score SDE,把整个 diffusion 统一成连续时间随机微分方程,最终在概率流 ODE 把随机过程拉成确定性的。
本章要记住的(讲师亲口给的核心)
- Score = 数据空间上的指南针(Vizuara:"a compass which points towards the data";CMU:"follow the flow")。它是 $\nabla_x \log p(x)$,一个向量场,永远指向高密度区。
- likelihood-free 路线:CMU 讲师把 likelihood 路线判死刑——high-dim 时算不动。score 不需要归一化常数,绕开了 partition function。
- Hyvärinen 的分部积分魔术:从 ESM 6 步推出 ISM,把 $\nabla \log p_\text{data}$ 替换成网络自身的 Jacobian 迹——"看不见的磁铁"问题被代数变没了。
- Vincent 2011 用"加噪声"换闭式:DSM 目标是回归 $-\epsilon/\sigma$,完全闭式、没有 Jacobian,工程上几乎免费。
- DDPM 的 $\epsilon$-loss = 多噪声层级上的 DSM。Ho 2020 与 Song & Ermon 2019 殊途同归——这是 Module 3 的核心统一性。
- Tweedie 公式:$\mathbb{E}[x|y] = y + \sigma^2 \nabla_y \log p(y)$,把"denoising"和"scoring"焊在一起;并给出 score / $\epsilon$ / $x_0$ 三种预测目标的三角恒等式 $s = -\epsilon/\sigma = (\hat x_0 - \tilde x)/\sigma^2$。
- 工程默契:用 score 思考、用 x_0 或 v 训练、用 $\epsilon$ 入门,靠 Tweedie 互相翻译——这是 2024 年起 SOTA diffusion 工程线的标准分工。