第 10 章 · Module 3: Score 视角

Score Matching 与 Tweedie 公式

怎么训练 score 网络?两条等价路径。


10. Score Matching 与 Tweedie 公式

主源:CMU 10799 S26 Lecture 4「Score-based Models」(讲师 Yilun Du / Dora);副源:Vizuara《Principles of Diffusion Models》Lecture 6(Denoising Score Matching)、Lecture 7(NCSN)。

📌 TL;DR

上一章我们说"DDPM 训的就是 $\epsilon$ 预测器",但这条路只是 diffusion 的 DDPM 视角。本章打开 score 视角:与其学一个 noise predictor,不如直接学 score function

$$s_\theta(x) \;\approx\; \nabla_x \log p(x).$$

困难是 $\log p(x)$ 本身不可达,所以 naive 的回归不可行。本章给两条等价路径:

  • Hyvärinen (2005) Implicit Score Matching:通过分部积分,把无法计算的 $\nabla \log p_\text{data}$ 替换成 Jacobian 迹 + L2 自身范数——绕过了对真实 score 的依赖;但 Jacobian 太贵。
  • Vincent (2011) Denoising Score Matching:先给数据加高斯噪声 $\tilde x = x + \sigma \epsilon$,让目标变成 预测 $-\epsilon/\sigma$。这就是 DDPM 的 $\epsilon$-loss 在每个噪声层级上的 score-matching 解释。

最后用 Tweedie 公式 $\mathbb{E}[x \mid y] = y + \sigma^2 \nabla_y \log p(y)$ 把"score = (干净估计 − 含噪观测) / 方差"打通,统一 denoising 与 scoring 两种说法。

开篇用 score 视角的理由:DDPM 推到 SDE / Flow Matching / consistency model 时,原来的 $\epsilon$-prediction 框架会变窄;而 score 框架可以无缝扩到任意噪声分布、任意时间连续过程。本章是 Module 3 的地基。

零、为什么要单独有一章讲 score matching?

读到这里你可能心里嘀咕:上一章 DDPM 已经能跑了,损失就是简单的 $\|\epsilon - \epsilon_\theta\|^2$,为什么还要换个视角讲一遍?三个答案:

  1. 它讲清了 DDPM 的"为什么":DDPM 的 $\epsilon$-loss 并不是凭空设计的工程 trick,它在数学上等价于"score matching"——一个 2005 年就有的统计学问题。理解了 score matching,你就能把 DDPM 推导出来,而不仅是记住它。
  2. 它是后续所有连续时间方法的入口:Score SDE、Flow Matching、Consistency Models、Rectified Flow 全部建立在 score 视角上。如果你只懂 DDPM 视角,看 2022 年后的论文会处处卡壳。
  3. 它让你能复用"非高斯"想法:score 视角天然兼容任意可微噪声扰动;DDPM 的 $\epsilon$-loss 只对加性高斯成立。前者是"研究语言",后者是"教学语言"。

一、从似然窘境开篇:CMU 讲师为什么不走 likelihood?

CMU 10799 Lecture 4 一开场就回顾上一讲(DDPM):训练时回归噪声 $\epsilon$,采样时一步步去噪。讲师随即把镜头拉远,问一个更基础的问题:

"likelihood is very difficult to calculate. Why? Because uh for example if you have a auto regressive model then you need to break things up by the chain rule and then you need to calculate each components one by one... If you have a very high dimensional data like image then you're going to be calculating the chain rule for for each pixel and that's just like really really painful."

讲师把所有"显式估计 likelihood"的方法过了一遍,每个都判了死刑:

  • Autoregressive(如 PixelCNN):链式法则下逐像素算条件概率,高维数据下慢到无法接受;
  • VAE:你不是在算 $\log p(x)$,而是在最大化 ELBO(一个 surrogate loss)—— 即使做了那么多硬数学,本质还是"次优";
  • Normalizing Flow:必须设计可逆架构,"weird architectures",灵活性受限;
  • EBM(能量模型):分母里的 partition function $Z = \int e^{-E(x)} dx$ 一般 intractable。

讲师随后甩出一个关键反问:

"is there a better way to do sort of likelihood free training? ... if we just want to do sampling, uh do we actually need to have a model to actually predict the likelihood of the data to sample from?"

答案是:不需要。我们想要的只是采样——一台能产出像训练数据的样本的机器。所以问题可以缩窄成:"怎么把一个起始分布的样本变换到目标分布的样本?"

💡 本章核心问题:若我们只需要"沿着数据密度的梯度走",那能不能不学 $p(x)$ 本身,而是直接学 $\nabla_x \log p(x)$?这条路被称为 likelihood-free + gradient-based,也就是 score-based generative modeling。

二、Score Function:把"指南针"放进数据空间

CMU 讲师在白板上画了一个二维平面,上面散落着不同颜色的点(混合高斯)。然后说:

"you can start from anywhere on the data space ... and then you just follow the arrow ... follow the flow essentially. So this is your gradient and then just like go and then you're going to eventually wind up at some somewhere where it's supposed to be high density."

正式定义:

$$s(x) \;\triangleq\; \nabla_x \log p(x).$$

这是 $x$ 的函数——平面上每个点都对应一个向量,它指向对数密度上升最快的方向。这就是 score function。讲师反复强调:"we don't really actually need the likelihood ... all we need is sort of like the gradient of the log likelihood."

Vizuara Lecture 6 给了一个更口语的比方:

"A score is like a compass which points towards the data. So let's say you have data lying around in space and you go in that space with a compass..."

把这两版合并:score 就是数据空间上每点的指南针,永远指向最近的高密度区域。

2.1 为什么是 $\log p$ 的梯度,不直接是 $p$ 的梯度?

讲师在被同学打断时给了个简洁回答:"log is easier to calculate in many cases."。展开两条理由:

  1. 数值稳定:$p(x)$ 在高维下数值上接近 0,梯度更接近 0;$\log p(x)$ 把它拉回可计算的范围。
  2. 归一化常数消失:若 $p(x) = \tilde p(x) / Z$,则 $\nabla_x \log p(x) = \nabla_x \log \tilde p(x) - \nabla_x \log Z = \nabla_x \log \tilde p(x)$。partition function $Z$ 不依赖 $x$,对 $x$ 求导就消失了——score 视角天然绕开了 EBM 最大的难题。
🧠 三句话锚定 score:① 它是 向量场,不是标量;② 它指向 高密度,不是低密度;③ 它不依赖归一化常数,所以即使你只知道 $p$ 的形状不知道总积分,也能算 score。这是 score 视角的根本红利。

2.2 拿到 score 之后怎么用?Langevin 采样的预告

CMU 讲师在这里没展开,但暗示了下一章的伏笔:一旦你有了 $s(x) \approx \nabla \log p(x)$,就可以用朗之万动力学从噪声出发"爬"到高密度区:

$$x_{k+1} \;=\; x_k + \frac{\eta}{2} s(x_k) + \sqrt{\eta}\, \xi_k, \quad \xi_k \sim \mathcal{N}(0, I).$$

这就是 Stein "gradient flow" 的离散化,类似带噪声版本的梯度上升。你可以把它想成"带温度的优化器"——主项 $\frac{\eta}{2} s(x_k)$ 是沿 score 上升,附加项 $\sqrt{\eta}\, \xi_k$ 是高斯抖动;少了抖动你只能爬到某个局部模式,加了抖动你才能"跳出来"按真实密度采样。下一章会专门讲它怎么从 score 出发把噪声变成数据,本章只要把"sampler 只需 score"这件事认下。

2.3 起点分布的限制

有同学问 CMU 讲师:"如果用 score 沿着梯度走,起点是不是要在某个特定分布上?" 讲师回答:

"your source distribution and your target distribution should always be in the same space. So here our desired distribution are these like colored mixture of gausians here ... we are just randomly sample and follow the gradient of the log density to get to the high density region of our desired distribution."

翻译过来:起点可以是同一个空间里任何方便采样的分布(比如各向同性高斯),只要它的支撑覆盖了目标分布所在区域。score 流动会把它"梳"到目标分布。"同空间但不同分布"是 score-based 采样最朴素的设置。

数据空间上的 score 向量场(箭头指向高密度区) 起点 高密度 每个点都有一个 $\nabla_x \log p(x)$ 向量

三、Naive 思路为什么不行:你算不出真实的 $\nabla \log p_\text{data}$

最直觉的训练目标是显式 score matching(Hyvärinen 2005,简称 ESM):

$$J_\text{ESM}(\theta) \;=\; \tfrac{1}{2}\,\mathbb{E}_{x \sim p_\text{data}}\!\left[\,\big\|\,s_\theta(x) - \nabla_x \log p_\text{data}(x)\,\big\|^2\,\right].$$

语义直白:让神经网络输出的向量 $s_\theta(x)$ 尽量贴近真实数据分布的 score。问题:

  • 我们只有有限训练样本 $\{x_1, x_2, \dots, x_N\}$;
  • 不知道 $p_\text{data}(x)$ 的解析形式,更别说它的对数梯度。

"用经验分布 $\hat p$ 代替 $p_\text{data}$" 也救不了——$\hat p$ 是一堆 delta 函数之和,对它求 $\nabla \log \hat p$ 在样本点上是无穷大、其他地方是 0,几乎处处不可用。

⚠️ 这正是 score matching 的核心困境:训练目标里出现了"我们想学的东西"。如果我们已经知道 $\nabla \log p_\text{data}$,就不需要学了。所以必须找一个不依赖 $\nabla \log p_\text{data}$ 但和 $J_\text{ESM}$ 等价的目标。这正是 Hyvärinen 2005 的核心贡献。

Vizuara Lecture 7 用一个磁铁比喻把这种"目标依赖未知量"的怪圈讲透:

"Imagine that there are a bunch of magnets kept on a table and you have access to only a few of those magnets. Many of the other magnets are hidden from you. Now the idea or the objective is to calculate given any point on this table what is the direction in which the nearest magnet is pulling you. ... Now, inherently this is a very hard problem because we do not know the exact location of the magnets."

"看不见的磁铁"就是隐藏的 $p_\text{data}$,"被磁场拉的方向"就是 score。我们要在不知道磁铁位置的前提下估计磁场——这就是 score matching 解决的问题。

四、Hyvärinen 的魔术:分部积分把 $\nabla \log p_\text{data}$ 变没

这是本章最重要的数学推导。我们要把 $J_\text{ESM}$ 一步步变形,让最终目标里完全没有 $p_\text{data}$ 的 score。下面给完整 6 步。

步骤 1:展开平方项 $$J_\text{ESM}(\theta) = \tfrac{1}{2}\,\mathbb{E}_{p_\text{data}}\!\left[\,\|s_\theta(x)\|^2 - 2\, s_\theta(x)^\top \nabla \log p_\text{data}(x) + \|\nabla \log p_\text{data}(x)\|^2\,\right]$$ Why:$\|a-b\|^2 = \|a\|^2 - 2 a^\top b + \|b\|^2$。最后一项 $\|\nabla \log p_\text{data}\|^2$ 与 $\theta$ 无关,是个常数,优化时可丢掉。
步骤 2:剩下两项的优化等价目标 $$J_\text{ESM}(\theta) \;\overset{c}{=}\; \mathbb{E}_{p_\text{data}}\!\left[\,\tfrac{1}{2}\|s_\theta(x)\|^2 - s_\theta(x)^\top \nabla \log p_\text{data}(x)\,\right]$$ Why:"$\overset{c}{=}$" 表示"忽略与 $\theta$ 无关的常数后相等"。麻烦在第二项里仍然有未知的 $\nabla \log p_\text{data}$。下一步处理它。
步骤 3:把第二项写成积分形式 $$-\mathbb{E}_{p_\text{data}}\!\left[\,s_\theta(x)^\top \nabla \log p_\text{data}(x)\,\right] \;=\; -\int p_\text{data}(x) \, s_\theta(x)^\top \nabla \log p_\text{data}(x) \, dx$$ Why:期望就是积分。下一步关键代换: $$p_\text{data}(x) \cdot \nabla \log p_\text{data}(x) \;=\; p_\text{data}(x) \cdot \frac{\nabla p_\text{data}(x)}{p_\text{data}(x)} \;=\; \nabla p_\text{data}(x).$$ 所以这一项变成: $$= -\int s_\theta(x)^\top \nabla p_\text{data}(x) \, dx.$$ 这一步是整个推导的命门:原本是"在 $p_\text{data}$ 加权下求 $\nabla \log p$",现在变成了"直接对 $\nabla p_\text{data}$ 积分"。
步骤 4:分部积分(integration by parts) 对每一维 $i$,有 $$-\int s_\theta(x)_i \cdot \frac{\partial p_\text{data}(x)}{\partial x_i} \, dx \;=\; \int p_\text{data}(x) \cdot \frac{\partial s_\theta(x)_i}{\partial x_i} \, dx - \underbrace{\big[\,s_\theta(x)_i \cdot p_\text{data}(x)\,\big]_{-\infty}^{+\infty}}_{=\,0}.$$ Why:一维分部积分 $\int u \, dv = uv - \int v \, du$,这里 $u = s_\theta(x)_i$、$dv = \partial_i p_\text{data}\, dx$,所以 $v = p_\text{data}$、$du = \partial_i s_\theta(x)_i \, dx$。
边界项为 0 的条件:当 $\|x\| \to \infty$ 时 $p_\text{data}(x) \to 0$ 且 $s_\theta(x)$ 增长不超过指数级,乘积趋于 0。这一温和的"regularity assumption"是 Hyvärinen 2005 的核心假设。
步骤 5:把所有维度加起来 $$-\mathbb{E}_{p_\text{data}}\!\left[\,s_\theta(x)^\top \nabla \log p_\text{data}(x)\,\right] \;=\; \mathbb{E}_{p_\text{data}}\!\left[\,\sum_{i=1}^d \frac{\partial s_\theta(x)_i}{\partial x_i}\,\right] \;=\; \mathbb{E}_{p_\text{data}}\!\left[\,\operatorname{tr}\!\big(\nabla_x s_\theta(x)\big)\,\right].$$ Why:$\sum_i \partial s_i / \partial x_i = \operatorname{tr}(\nabla_x s)$ —— Jacobian 矩阵的对角和。
步骤 6:合并,得到 Implicit Score Matching (ISM) $$\boxed{\;J_\text{ISM}(\theta) \;=\; \mathbb{E}_{p_\text{data}}\!\left[\,\operatorname{tr}\!\big(\nabla_x s_\theta(x)\big) + \tfrac{1}{2}\|s_\theta(x)\|^2\,\right]\;}$$ Why:把步骤 5 代回步骤 2。所有出现 $\nabla \log p_\text{data}$ 的项都被替换成了 $s_\theta$ 自己的导数,目标里只剩两个能算的东西:
  • $\operatorname{tr}(\nabla_x s_\theta(x))$:score 网络自己的 Jacobian 迹(用 autograd 算);
  • $\|s_\theta(x)\|^2$:score 网络输出的范数平方(直接算)。
两者期望都在 $p_\text{data}$ 下取——而 $p_\text{data}$ 的期望可以用有限训练样本的经验均值近似!
💡 核心 trick 的本质:分部积分把"对未知 $p$ 求导"翻译成了"对已知 $s_\theta$ 求导"——把不可计算量挪到了我们能控制的网络这边。Hyvärinen 2005 这一招让 score matching 从理论变成了可执行算法。

4.1 用一个一维玩具例子手算 ISM

抽象推导容易把人绕晕,给一个最小例子坐实 ISM 真的能跑:假设 $p_\text{data}(x) = \mathcal{N}(x; 0, 1)$(虽然现实里我们不会知道这件事,但用它能验证 ISM 的正确性),并让 $s_\theta(x) = -\theta x$(线性 score 网络,一个标量参数)。理论真实 score 是 $\nabla \log p(x) = -x$,所以最优 $\theta^* = 1$。

把 $s_\theta(x) = -\theta x$ 代入 ISM:

$$J_\text{ISM}(\theta) = \mathbb{E}_p\!\left[\frac{\partial(-\theta x)}{\partial x} + \tfrac{1}{2}(-\theta x)^2\right] = \mathbb{E}_p\!\left[-\theta + \tfrac{1}{2}\theta^2 x^2\right] = -\theta + \tfrac{1}{2}\theta^2 \mathbb{E}_p[x^2].$$

$\mathbb{E}_p[x^2] = 1$(标准正态的方差),所以 $J_\text{ISM}(\theta) = -\theta + \tfrac{1}{2}\theta^2$。对 $\theta$ 求导令零:$-1 + \theta = 0 \Rightarrow \theta^* = 1$。和真实 score 完全一致。

注意整个推导过程里我们从未用到 $-x$ 这个真实 score 的表达式——只用了样本的二阶矩 $\mathbb{E}[x^2]$ 和网络自身的导数 $-1$。这就是 Hyvärinen trick 的力量在最小例子里的体现。

五、ISM 也有问题:Jacobian 迹太贵

ISM 看似完美,但有一个工程灾难:

  • $s_\theta$ 输入是 $d$ 维(比如 $32 \times 32 \times 3 = 3072$ 维的图像),输出也是 $d$ 维;
  • $\nabla_x s_\theta(x)$ 是 $d \times d$ 的 Jacobian 矩阵;
  • 算迹 $\operatorname{tr}(\nabla_x s_\theta)$ 需要 $d$ 次反向传播(每次只算一个对角元);
  • 对一张 $256 \times 256 \times 3$ 的图像,$d = 196{,}608$——训练一步要做 20 万次反传。

实际可用的折中包括:

  1. Sliced Score Matching(Song et al. 2019):用随机投影方向估计迹,把开销从 $d$ 次反传降到 1 次(带方差);
  2. Denoising Score Matching(Vincent 2011):彻底绕开 Jacobian,靠"加噪声 + 解析 score"换来闭式目标。这就是 DDPM 实际在用的方法,也是下一节的主题。

六、Denoising Score Matching:换一个噪声分布把目标变成回归

Vincent (2011) 的洞察:与其学 $p_\text{data}$ 的 score,不如学"加了噪声的 $p_\text{data}$"的 score。具体地,定义噪声扰动分布

$$q_\sigma(\tilde x \mid x) \;=\; \mathcal{N}\!\big(\tilde x;\, x,\, \sigma^2 I\big), \qquad q_\sigma(\tilde x) \;=\; \int q_\sigma(\tilde x \mid x)\, p_\text{data}(x)\, dx.$$

我们改成学 $s_\theta(\tilde x) \approx \nabla_{\tilde x} \log q_\sigma(\tilde x)$。Vincent 证明:

$$\underbrace{\tfrac{1}{2}\mathbb{E}_{q_\sigma(\tilde x)}\!\left[\,\big\|s_\theta(\tilde x) - \nabla_{\tilde x} \log q_\sigma(\tilde x)\big\|^2\,\right]}_{\text{扰动后的 ESM(仍不可算)}} \;\overset{c}{=}\; \underbrace{\tfrac{1}{2}\mathbb{E}_{p_\text{data}(x)\, q_\sigma(\tilde x \mid x)}\!\left[\,\big\|s_\theta(\tilde x) - \nabla_{\tilde x} \log q_\sigma(\tilde x \mid x)\big\|^2\,\right]}_{\text{Denoising SM(可算)}}.$$

左边的目标依然依赖未知的 $\log q_\sigma(\tilde x)$;但右边的目标只依赖条件 score $\nabla_{\tilde x} \log q_\sigma(\tilde x \mid x)$,而这个对高斯条件分布有解析解:

$$\nabla_{\tilde x} \log q_\sigma(\tilde x \mid x) \;=\; \nabla_{\tilde x}\left[-\frac{\|\tilde x - x\|^2}{2\sigma^2}\right] \;=\; -\frac{\tilde x - x}{\sigma^2} \;=\; -\frac{\sigma \epsilon}{\sigma^2} \;=\; -\frac{\epsilon}{\sigma}.$$

(这里用了 $\tilde x = x + \sigma \epsilon$,所以 $\tilde x - x = \sigma \epsilon$。)

所以 DSM 目标可写成:

$$J_\text{DSM}(\theta) \;=\; \tfrac{1}{2}\,\mathbb{E}_{x \sim p_\text{data},\, \epsilon \sim \mathcal{N}(0, I)}\!\left[\,\left\|\, s_\theta(x + \sigma \epsilon) + \frac{\epsilon}{\sigma}\,\right\|^2\,\right].$$
🔑 DSM 的训练循环:① 从数据集采 $x$;② 采高斯噪声 $\epsilon$;③ 算 $\tilde x = x + \sigma \epsilon$;④ 让 $s_\theta(\tilde x)$ 去回归 $-\epsilon/\sigma$。整个过程没有任何 Jacobian、没有任何分部积分、没有任何对真实 $p_\text{data}$ 的依赖——只有一个最朴素的均方误差回归。

6.1 DSM = "教网络做去噪"

Vizuara Lecture 6 用一句口语把 DSM 包装成"训练一个去噪器":

"You're literally just teaching the network: given a noisy version of the data, point me back to the clean data. The direction you should point is $-\epsilon/\sigma$."

这就把 score matching 和 denoising 直接画了等号。"score = pointer back to clean data"。我们后面会用 Tweedie 公式把这句话精确说出来。

用磁铁的比喻再补一刀:Vizuara Lecture 7 接着上一节的磁铁问题问——既然你看不见所有磁铁、只看得见桌上的钢珠(训练样本),那"把钢珠拖到桌边再松手"就行了。钢珠被磁场拖回原位置的方向,就是你想学的 score。这正是 DSM 的物理直觉:

  • 从数据集采 $x$(钢珠原位);
  • 拖到 $\tilde x = x + \sigma \epsilon$(钢珠被推走);
  • 让网络预测"被拖走的反方向"$-\epsilon/\sigma$ —— 即"磁铁回拉的方向";
  • 所有训练样本一起采样了整个磁场,模型由此学到 score 向量场。

这个比喻的精妙之处:你不需要知道磁铁的位置($p_\text{data}$ 的解析形式),只要给"钢珠 + 推力"对子,磁场就能反推出来。

6.2 DSM 和 DDPM 的 $\epsilon$-loss 是同一个东西

回想 第 7 章 我们写过的 DDPM 简化损失:

$$L_\text{simple} = \mathbb{E}_{t, x_0, \epsilon}\!\left[\,\|\epsilon - \epsilon_\theta(x_t, t)\|^2\,\right], \quad x_t = \sqrt{\bar\alpha_t}\, x_0 + \sqrt{1 - \bar\alpha_t}\, \epsilon.$$

把 noise predictor 换写成 score:

$$s_\theta(x_t, t) \;\triangleq\; -\frac{\epsilon_\theta(x_t, t)}{\sqrt{1 - \bar\alpha_t}}.$$

那 $L_\text{simple}$ 就等价于在每个噪声层级 $\sigma_t = \sqrt{1 - \bar\alpha_t}$ 上做 DSM——目标是 $-\epsilon/\sigma_t$。这就是 score-based 视角(Song & Ermon 2019)和 DDPM 视角(Ho et al. 2020)的真正统一公式。

💡 本章最重要的"恍然大悟":DDPM 当年用 noise prediction loss 是"trick"地把扩散过程简化,但事后看,这正是 Vincent 2011 DSM 在多噪声层级上的应用。Yang Song 2019 的 score-based 论文与 Ho 2020 的 DDPM 论文是从两个方向爬到了同一座山顶。Module 3 接下来几章都建在这个统一性之上。

6.3 工程细节:在多噪声层级训一个网络

NCSN(Noise Conditional Score Network, Song & Ermon 2019)的关键工程选择是:

  • 单一网络,输入是 $(\tilde x, \sigma)$(或者时间步 $t$)——条件化噪声层级;
  • 训练目标按 $\sigma$ 加权:噪声大时给小权重(梯度幅值天然大),噪声小时给大权重(梯度容易消失);
  • 常用加权 $\lambda(\sigma) = \sigma^2$,让每个层级对 loss 的贡献量纲一致。

Vizuara Lecture 7 把这套思路概括为"从大噪声一直退到小噪声,score 网络全程在场"——score 视角下的 DDPM 自然是 noise-conditional 的,这一点 DDPM 视角不是那么显眼。

为什么不能只训一个 $\sigma$? Song & Ermon 2019 的原始论文里给了一个直观图:低密度区域的 score 估计在单一噪声层级下方差极大(因为那里几乎没训练样本),所以朗之万会卡在低密度区出不来。解决办法是退火(annealed Langevin):

  1. 先用大 $\sigma$ 训一个粗糙 score,让它在整个空间都有合理估计(大噪声把数据"涂抹"到整个空间);
  2. 再用小 $\sigma$ 训一个精细 score,让它在数据流形附近给出锐利方向;
  3. 采样时从大到小依次过 $\sigma$——这就是 DDPM 的反向时间步!

所以 DDPM 的"从 $T$ 到 1 逐步去噪"和 NCSN 的"从大 $\sigma$ 退火到小 $\sigma$"是同一件事的两种语言。后续 Score SDE 章 会把它们正式焊接。

🛠️ 实践要点:训练时 $\sigma$ 的采样分布很关键。NCSN 用 log-uniform(保证小 $\sigma$ 和大 $\sigma$ 被等概率训练);EDM (Karras 2022) 用 log-normal(集中精力在"loss 信噪比高"的中段 $\sigma$)。$\sigma$ 采样策略直接决定生成质量,是工程团队反复调参的核心钮。

七、Tweedie 公式:denoising 与 scoring 的桥梁

到此我们有两个看似不同的目标:

  • denoising:给定含噪 $\tilde x$,估计干净 $x$;
  • scoring:给定含噪 $\tilde x$,估计 $\nabla_{\tilde x} \log q_\sigma(\tilde x)$。

看上去这是两件事,但 Tweedie 公式(Robbins 1956, popularized by Efron)告诉我们它们在高斯噪声下是同一个东西。

7.1 公式陈述

设 $x$ 的先验为 $p(x)$,含噪观测 $y = x + \sigma \epsilon$($\epsilon \sim \mathcal{N}(0, I)$)。则:

$$\boxed{\;\mathbb{E}[x \mid y] \;=\; y + \sigma^2\, \nabla_y \log p(y),\;}$$

其中 $p(y) = \int p(x) \mathcal{N}(y; x, \sigma^2 I) dx$ 是边缘观测分布。

7.2 推导(三步)

步骤 1:贝叶斯展开后验 $$p(x \mid y) = \frac{p(y \mid x)\, p(x)}{p(y)} = \frac{p(x)}{p(y)} \cdot \frac{1}{(2\pi\sigma^2)^{d/2}} \exp\!\left(-\frac{\|y - x\|^2}{2\sigma^2}\right).$$ Why:贝叶斯 + 高斯似然。
步骤 2:对边缘 $p(y)$ 求 $\nabla_y$ $$\nabla_y p(y) = \nabla_y \int p(x) \, \mathcal{N}(y; x, \sigma^2 I)\, dx = \int p(x) \cdot \nabla_y \mathcal{N}(y; x, \sigma^2 I)\, dx.$$ 关键代换:$\nabla_y \mathcal{N}(y; x, \sigma^2 I) = -\frac{y - x}{\sigma^2} \mathcal{N}(y; x, \sigma^2 I)$。代入: $$\nabla_y p(y) = -\frac{1}{\sigma^2} \int (y - x) \, p(x) \, \mathcal{N}(y; x, \sigma^2 I)\, dx.$$ Why:高斯密度对 $y$ 求导的标准结果。
步骤 3:除以 $p(y)$,识别后验期望 $$\nabla_y \log p(y) = \frac{\nabla_y p(y)}{p(y)} = -\frac{1}{\sigma^2} \int (y - x) \cdot \underbrace{\frac{p(x) \mathcal{N}(y;x,\sigma^2 I)}{p(y)}}_{= p(x \mid y)}\, dx = -\frac{1}{\sigma^2}\big(y - \mathbb{E}[x \mid y]\big).$$ 移项即得 Tweedie 公式。 Why:把"被积函数中的核函数除以归一化"识别为后验密度,剩下的就是后验期望。

7.3 几何与语义

把公式重排:

$$\sigma^2 \,\nabla_y \log p(y) \;=\; \mathbb{E}[x \mid y] - y \;=\; \underbrace{\text{后验均值(干净估计)}}_{\hat x_\text{MMSE}} - \underbrace{\text{含噪观测}}_{y}.$$

把它说出来:

Score = (干净数据的后验均值估计 − 当前含噪点) / 噪声方差。

换言之,score 向量从含噪点指向"最有可能的干净点",幅值由噪声方差缩放。这就是为什么 score matching 和 denoising 是一回事——它们都在估计"我应该往数据流形的哪个方向偏移"。

三种值得反复念的等价表述:

  1. 统计学家说法:score 是含噪点到 MMSE 估计的位移,除以方差。
  2. 几何学家说法:score 是从当前点到数据流形最近高密度区的"重力方向",被 $\sigma^2$ 拉伸。
  3. 工程师说法:score 网络其实就是一个隐式 denoiser,把"它在算 score"和"它在估 $x_0$"看成同一件事。

这种"一公式三身份"是 Tweedie 在 diffusion 教学里地位崇高的原因——它把无关联的三个概念绑成一个数学对象。

Tweedie 几何:score 把含噪 $y$ 拉回干净 $\mathbb{E}[x|y]$ 数据流形(高密度区) $\mathbb{E}[x \mid y]$ 干净估计 $y$ 含噪观测 $\sigma^2 \nabla_y \log p(y)$(score × $\sigma^2$) score 永远指向 $\mathbb{E}[x \mid y]$,方向 = 朝数据流形偏移;幅值 = 偏移量 ÷ $\sigma^2$

7.4 Tweedie 把 score predictor 和 noise predictor 也统一了

把 $\tilde x = x + \sigma \epsilon$ 代入 Tweedie:

$$\mathbb{E}[x \mid \tilde x] = \tilde x + \sigma^2 \nabla_{\tilde x} \log q_\sigma(\tilde x) = \tilde x + \sigma^2 \cdot s_\theta(\tilde x).$$

另一方面,若网络学的是 $\epsilon$-predictor $\epsilon_\theta(\tilde x)$,则同样的后验均值是:

$$\mathbb{E}[x \mid \tilde x] \approx \tilde x - \sigma \cdot \epsilon_\theta(\tilde x).$$

对比两式得到三大预测目标的三角恒等式:

$$\boxed{\;s_\theta(\tilde x) \;=\; -\frac{\epsilon_\theta(\tilde x)}{\sigma} \;=\; \frac{\hat x_0(\tilde x) - \tilde x}{\sigma^2}\;}$$

这三种"参数化"(score / noise / $x_0$-prediction)在数学上完全等价。选哪个只是训练稳定性和工程便利的问题,不是表达力的问题。

🧰 实践中的选择:DDPM 原文用 $\epsilon$-prediction(数值范围稳定,方差为 1);EDM (Karras 2022) 用 $x_0$-prediction 配合特定预条件化;DDIM/Flow Matching 等用 velocity-prediction $v$(介于二者)。底层都是 Tweedie 在做翻译。

八、把 Tweedie 用到极致:score 网络究竟在算什么?

给定一个训练好的 score 网络 $s_\theta(x_t, t)$,Tweedie 让我们能立刻读出网络的"隐藏估计":

  1. 当前对干净图的最佳猜测:$\hat x_0(x_t) = x_t + \sigma_t^2 \cdot s_\theta(x_t, t)$。
  2. 当前残余噪声的估计:$\hat \epsilon(x_t) = -\sigma_t \cdot s_\theta(x_t, t)$。

这两条让 score 网络变成了一个可视化诊断工具:训练过程中你可以在每个 $t$ 取一张图,输出 $\hat x_0$,看它什么时候开始"像数据"。在 DDPM/EDM 工程里这是标准 sanity check。

一个具体诊断流程:训完后取一组随机 $\sigma_t$,把同一张噪声 $x_t$ 喂给网络,把 $\hat x_0$ 渲染成图:

  • 大 $\sigma$(接近纯噪声):$\hat x_0$ 应该是模糊轮廓——网络只能猜大致结构("是个人脸吗?");
  • 中等 $\sigma$:$\hat x_0$ 应该出现清晰的中层结构(五官位置);
  • 小 $\sigma$(接近干净):$\hat x_0$ 应该是细节清晰的图像。

如果你训出来的网络在大 $\sigma$ 下就给出清晰但错的 $\hat x_0$,那是过拟合到训练集;如果在小 $\sigma$ 下还在出模糊图,那是欠拟合或 schedule 没对齐。$\hat x_0$ 可视化是 diffusion 调参的第一把尺。

🟡 教材外补充:现代 diffusion sampler(DDIM、PNDM、DPM-Solver)几乎都依赖 $\hat x_0$ 形式做"foresight"——预测当前 $x_t$ 对应的 $\hat x_0$ 然后线性外推。所以即使你训的是 $\epsilon$-predictor,采样时还是要回到 Tweedie。详见第 14 章 DDIM。

九、PyTorch 训练骨架(DSM in one screen)

下面是一个完整可跑的 single-$\sigma$ Denoising Score Matching 训练循环。把它扩成 multi-$\sigma$ 就是 NCSN;再加上线性 $\bar\alpha_t$ schedule 就是 DDPM:

import torch
import torch.nn as nn
import torch.nn.functional as F

class ScoreNet(nn.Module):
    """最小 score 网络:输入 (x, sigma),输出与 x 同维的 score 向量。"""
    def __init__(self, x_dim=784, h=512):
        super().__init__()
        self.net = nn.Sequential(
            nn.Linear(x_dim + 1, h), nn.SiLU(),
            nn.Linear(h, h), nn.SiLU(),
            nn.Linear(h, x_dim),
        )

    def forward(self, x, sigma):
        # sigma: (B, 1) 当成额外输入条件化噪声层级
        s = self.net(torch.cat([x, sigma], dim=-1))
        return s


def dsm_loss(model, x, sigma_min=0.01, sigma_max=1.0):
    B = x.size(0)
    # 1) 随机采一个噪声层级(log-uniform)
    log_sigma = torch.empty(B, 1, device=x.device).uniform_(
        torch.log(torch.tensor(sigma_min)),
        torch.log(torch.tensor(sigma_max)),
    )
    sigma = log_sigma.exp()
    # 2) 加高斯噪声
    eps = torch.randn_like(x)
    x_noisy = x + sigma * eps        # x̃ = x + σε
    # 3) 网络预测 score
    s = model(x_noisy, sigma)        # s_θ(x̃, σ)
    # 4) 目标 score = -ε/σ(Vincent 2011 闭式)
    target = -eps / sigma
    # 5) 加权 L2(λ(σ)=σ²,让各噪声层级 loss 量纲一致)
    loss = ((s - target).pow(2) * sigma.pow(2)).mean()
    return loss


# 训练循环(伪代码骨架)
model = ScoreNet()
opt = torch.optim.Adam(model.parameters(), lr=2e-4)
for step, x in enumerate(loader):
    loss = dsm_loss(model, x)
    opt.zero_grad(); loss.backward(); opt.step()

每一行的对应:

  • sigma 采样:对应 NCSN 的"多噪声层级训练"思路;
  • x_noisy = x + sigma * eps:对应 $\tilde x = x + \sigma \epsilon$;
  • target = -eps / sigma:对应 Vincent 2011 的闭式条件 score $-\epsilon/\sigma$;
  • sigma.pow(2) 加权:对应 $\lambda(\sigma)=\sigma^2$ 让损失在各 $\sigma$ 下量纲一致;
  • 没有 Jacobian!没有 ISM!全程只是 MSE 回归。
⚠️ 常见坑:很多人初次实现把 target = -eps(漏掉 $1/\sigma$)—— 这样在 $\sigma$ 很小时目标会趋向 $-\epsilon$ 而非 $-\epsilon/\sigma$,把不同噪声层级混在一起训练,模型死活学不到细噪声。记住:score 的量纲是 $1/x$,越小的 $\sigma$ score 越大。

十、ESM vs ISM vs DSM 一张表回顾

把三种 score matching 目标的关键差异列出来:

目标函数对比
  • ESM (Explicit Score Matching, Hyvärinen 2005)
    $J = \tfrac{1}{2}\mathbb{E}_p[\|s_\theta(x) - \nabla \log p(x)\|^2]$
    ✗ 需要 $\nabla \log p$,不可用,只是理论起点。
  • ISM (Implicit Score Matching, Hyvärinen 2005)
    $J = \mathbb{E}_p[\operatorname{tr}(\nabla s_\theta) + \tfrac{1}{2}\|s_\theta\|^2]$
    ✓ 不需要 $p$ 的 score;✗ Jacobian 迹 $O(d)$ 反传,高维图像几乎不可行。
  • DSM (Denoising Score Matching, Vincent 2011)
    $J = \tfrac{1}{2}\mathbb{E}_{p, \epsilon}[\|s_\theta(\tilde x) + \epsilon/\sigma\|^2]$
    ✓ 闭式条件 score;✓ 只是 MSE 回归;✗ 学的是 $q_\sigma$ 的 score 而非 $p$ 的——只在 $\sigma \to 0$ 极限下逼近 $p_\text{data}$。
  • SSM (Sliced Score Matching, Song et al. 2019)
    用随机投影估计 ISM 中的 Jacobian 迹。当目标是真实 $p_\text{data}$ 时仍是首选,但实际生成中很少用。

十一、Score 视角 vs DDPM 视角:什么时候用哪个?

三种视角的能力边界(教材外的现代综合,标黄):

🟡 教材外补充:三种视角的扩展性
  • DDPM 视角(ELBO + $\epsilon$-loss):直观、训练稳定、与 VAE 共享数学骨架。但当噪声不是高斯、或者过程是连续时间时,ELBO 框架变得很难写。
  • Score 视角:直接学向量场 $\nabla \log p$,对噪声分布、时间离散化都不敏感。它能无缝扩到 Score SDE(Song 2021)、Flow Matching(Lipman 2023)、Consistency Models(Song 2023)。
  • x_0-prediction 视角(EDM、Karras 2022):直接学 denoiser,工程上数值最稳。SOTA 图像 diffusion 多数用这个(SDXL、SD3 内部都是 v-pred / x_0-pred)。
三者用 Tweedie 互相翻译。研究层面用 score 思考、工程层面用 x_0 或 v 训练、教学层面用 $\epsilon$ 入门,是 2024 年起业界形成的默契分工。
📺 CMU 10799 S26 Lecture 4(11:00 起)—— 讲师在白板上演示二维数据空间中的 score 向量场与"follow the flow"采样直觉。

十二、常见误解纠偏

本章数学不复杂,但容易被滑过去的细节不少。下面列三条新手最常踩的坑:

⚠️ 误解 1:DSM 学的就是 $p_\text{data}$ 的 score
不是。DSM 学的是 加了噪声后 $q_\sigma$ 的 score。只有当 $\sigma \to 0$ 时 $q_\sigma \to p_\text{data}$,二者才趋于一致。训出来的 score 网络在 $\sigma$ 很小时反而最不准(因为流形薄、数据稀疏),所以采样末段总是不稳——这是 NCSN/DDPM 都会遇到的问题。
⚠️ 误解 2:score 越大越接近数据
反了。score 越大说明你离高密度区越远——你需要走的步子越大。在数据中心 $\nabla \log p \approx 0$,因为那里是密度的局部极大点。直觉记法:"score 是引力,离星球越远引力越强(直到无穷远,但近邻区力最足)"。
⚠️ 误解 3:Tweedie 公式只对高斯噪声成立
对。Tweedie 在原本形式下要求是高斯通道 $y = x + \sigma \epsilon$。其他噪声(泊松、椒盐、blur)有自己的"广义 Tweedie"形式,但都没有 $y + \sigma^2 \nabla \log p$ 这么干净。所以 diffusion 默认用高斯噪声,不只是因为方便,而是因为高斯通道让"score = denoiser"的对偶成立。

十三、回到 Module 3 的脉络

本章把 score 视角的训练问题讲完了:

  1. 我们要学的目标是向量场 $s_\theta(x) \approx \nabla \log p(x)$;
  2. Hyvärinen 2005 用分部积分把不可算的 ESM 变成可算的 ISM——但 Jacobian 太贵;
  3. Vincent 2011 用"先加噪、再回归"把 ISM 简化成 MSE 形式的 DSM;
  4. Tweedie 公式把 score / noise / $x_0$ 三种预测目标焊死成同一组等式;
  5. DDPM 的 $\epsilon$-loss 在每个 $\sigma_t$ 上其实就是 DSM,确认了 score-based 与 DDPM 是同一座山的两面。

下一章我们要解决采样问题:训好的 score 网络怎么生成样本?答案是 Langevin 动力学——把 score 当成势能场,让粒子沿场流动到高密度区。再下一章把 Langevin 升级到 Score SDE,把整个 diffusion 统一成连续时间随机微分方程,最终在概率流 ODE 把随机过程拉成确定性的。

本章要记住的(讲师亲口给的核心)

  1. Score = 数据空间上的指南针(Vizuara:"a compass which points towards the data";CMU:"follow the flow")。它是 $\nabla_x \log p(x)$,一个向量场,永远指向高密度区。
  2. likelihood-free 路线:CMU 讲师把 likelihood 路线判死刑——high-dim 时算不动。score 不需要归一化常数,绕开了 partition function。
  3. Hyvärinen 的分部积分魔术:从 ESM 6 步推出 ISM,把 $\nabla \log p_\text{data}$ 替换成网络自身的 Jacobian 迹——"看不见的磁铁"问题被代数变没了。
  4. Vincent 2011 用"加噪声"换闭式:DSM 目标是回归 $-\epsilon/\sigma$,完全闭式、没有 Jacobian,工程上几乎免费。
  5. DDPM 的 $\epsilon$-loss = 多噪声层级上的 DSM。Ho 2020 与 Song & Ermon 2019 殊途同归——这是 Module 3 的核心统一性。
  6. Tweedie 公式:$\mathbb{E}[x|y] = y + \sigma^2 \nabla_y \log p(y)$,把"denoising"和"scoring"焊在一起;并给出 score / $\epsilon$ / $x_0$ 三种预测目标的三角恒等式 $s = -\epsilon/\sigma = (\hat x_0 - \tilde x)/\sigma^2$。
  7. 工程默契:用 score 思考、用 x_0 或 v 训练、用 $\epsilon$ 入门,靠 Tweedie 互相翻译——这是 2024 年起 SOTA diffusion 工程线的标准分工。