Score 函数:log-density 的梯度
不直接学概率密度,学它的「方向」。
8. Score 函数:log-density 的梯度
主源:Vizuara《Principles of Diffusion Models》Lecture 5(Energy Based Models · Score Function);副源:CMU 10799 S26 Lecture 4(Score-based Models — Diffusion & Flow Matching);以及 Vizuara Lecture 7 的「磁铁」类比开场。
📌 TL;DR
Score 函数 = log-密度对输入 x 的梯度:
$$s(x) \;=\; \nabla_x \log p(x)$$注意三件事:
- 梯度是对输入 x 求的,不是对模型参数;它产出一个和 x 同维度的向量。
- 它指向 log-密度上升最快的方向——也就是"哪边样本更像真实数据"。所以 score 是一张向量场:空间每一点都被钉一支箭头,箭头的尾巴在该点,箭头的头指向附近"更像真实数据"的方向。
- 归一化常数 $Z$ 在求梯度时自动消失。如果 $p(x) = \tilde p(x)/Z$,那么 $\nabla_x \log p(x) = \nabla_x \log \tilde p(x) - \nabla_x \log Z = \nabla_x \log \tilde p(x)$。$Z$ 不再是拦路虎——这是 score-based modelling 整个流派的立身之本。
本章先用「磁铁拉力」和「能量谷底」两个讲师亲口给的物理直觉锚定 score 是什么,再形式化定义,最后说明 score 为什么是 diffusion 模型生成所必须——它是 Anderson 1982 反向 SDE 公式里那唯一未知的、需要神经网络去拟合的对象。
一、为什么这一章如此关键?
到目前为止,你已经学过 VAE 和 DDPM(去噪扩散)。两条线索都把生成建模归结为:不直接写出 $p(x)$,而是用神经网络逼近它的某个"片段"——VAE 学一个变分后验,DDPM 学一个噪声预测器。本章引入第三条、也是把 diffusion 真正讲通的那条线:
不学密度本身,学密度的梯度。
Vizuara 讲师 Dr. Raj 在 Lecture 5 开篇花了大约 5 分钟做了一次完整复盘(chunk #525-533):「我们从 deep generative models 出发,看了 VAE,又看了 diffusion。现在要引入另一个会和 diffusion 框架紧密交叉的概念,但我们先独立讲它。」
这个"独立先讲、最后交叉"的方法论非常重要。Score-based generative modelling 是独立发展出来的一条线(Hyvärinen 2005,Yang Song & Ermon 2019),后来才被 Yang Song 在 2021 的 SDE 论文里证明它和 DDPM 是同一件事。本章先按讲师的处理方式独立讲 score(从 EBM 切入),后面 第 9、10、11 章再把它和 diffusion 缝起来。
如果你在这里就感到困惑:「为什么不直接学密度 $p(x)$?」那么你已经摸到了本章要解决的核心痛点。讲师在 chunk #525-526 做的复盘里反复念叨同一件事——"我们没有真实分布的解析形式,只有来自分布的样本"。从有限样本出发去学一个高维函数,本身就是一场和"组合爆炸"赛跑。直接学 $p(x)$ 要求你归一化,而归一化要求你对整个高维空间积分——这就是接下来要展开的死胡同。Score 是一条优雅的绕路。
二、磁铁桌面:score 的物理直觉
讲师在 Lecture 7(chunk #439)用了一个反复回放的核心比喻。它出现在 noise-conditional score network 那一讲,但它本质上就是 score 函数的"科学幻想"图:
把这个比喻翻成 score 的语言:
- "桌面" = 数据空间 $\mathbb{R}^d$;
- "磁铁" = 真实数据样本(训练集里的点);
- "被藏起来的磁铁" = 你没见过但同样属于真实分布的样本(测试集、未来要生成的样本);
- "朝哪个方向走" = 你要预测的那个向量;
- "离最近的磁铁更近" ≈ "log-密度增加得更快"。
所以 score 函数 $s(x) = \nabla_x \log p(x)$ 就是那张"磁铁拉力地图"——空间每一点都有一支箭头,告诉你"从这里出发,向着样本最稠密的地方该怎么走"。
讲师特地强调"很难,因为我们看不到所有磁铁"——这正是为什么需要从样本中学 score(即 score matching,下一章的主题),而不是把 $p(x)$ 写出来再求导。把这句话再翻一层:
- 如果"所有磁铁的位置"都告诉你(也就是知道 $p_\text{data}$ 的解析式),那 score 就可以直接解析求,不需要训练;
- 但现实里你只看到 100 块磁铁里露出来的 5 块(也就是训练样本),剩下 95 块在桌面别处。你的网络必须从这 5 块磁铁,推断出整张桌面所有位置的拉力方向。这就是"泛化"问题,也是为什么 score model 像所有机器学习一样:会 overfit、需要正则化、对训练样本多寡敏感。
这张图就是本章最重要的一张图。请你记住它:
- 真实数据集中在两个高斯团("两堆磁铁");
- 空间每一点都钉了一支箭头;
- 箭头指向数据更稠密的方向,离数据团越远,箭头越长(log-密度的梯度更陡);
- 两团之间的"中间地带",两边都在拉,所以箭头几乎抵消(score 接近 0,但这点对应的密度也很低)。
三、从能量函数说起:score 真正的起源
讲师在 Lecture 5(chunk #534-538)不直接从 score 写起,而是绕了一段路:先讲能量函数。这条路径不是绕远——它是 score 函数的历史源头,也是物理直觉最浓的进入方式。我们按讲师的次序走。
3.1 能量函数的物理直觉
讲师举了一个非常具体的例子(chunk #535):
取一维数据 $x \in [-4, 4]$。画一条曲线 $E(x)$,它在两个位置有谷底(两个极小值)。
拿一个小球往曲线上随便扔——球会自动滚到最近的谷底停下。
这是能量函数的第一性原理:
- 谷底(能量极小)= 系统最"喜欢"待的位置;
- 山顶(能量极大)= 系统最不愿停留的位置;
- 给系统一点扰动,它总是往低能方向运动。
把这套语言迁移到数据上:
能量低的位置 = "更像真实数据"的位置 = 概率高的位置。
能量高的位置 = "不像真实数据"的位置 = 概率低的位置。
所以能量函数 $E(x)$ 实际上是概率密度 $p(x)$ 的"反面"——一个低(能量)就对应一个高(概率)。讲师反复强调:"the energy function becomes a proxy for us to comment about the preference or the probability of [each sample]."
3.2 从能量到概率:为什么是指数?
讲师在 chunk #539-540 给了一个非常直观的"挑函数"过程:要把 $E(x)$ 转换成 $p(x)$,这个映射必须满足三条:
- 单调反向:$E$ 越大 $\Rightarrow$ $p$ 越小,$E$ 越小 $\Rightarrow$ $p$ 越大;
- 非负:概率密度必须 $\geq 0$(不能是负数);
- 取值合理:在低能区给出大值,在高能区给出小值。
什么函数同时满足这三条?讲师在 chunk #540 直接给出答案:
指数函数 $e^{-E(x)}$。
它:
- 恒为正(满足条件 2);
- $E$ 越大,$e^{-E}$ 越接近 0(满足条件 1);
- $E = 0$ 时是 1,$E \to -\infty$ 时趋近 $+\infty$(满足条件 3)。
所以能量基模型(Energy-Based Model, EBM)的核心公式是:
$$p_\theta(x) \;=\; \frac{e^{-E_\theta(x)}}{Z_\theta}, \quad Z_\theta = \int e^{-E_\theta(x)}\, dx$$这里:
- $E_\theta(x)$ 是一个神经网络,输出一个标量("这张图能量多大");
- $Z_\theta$ 是归一化常数(partition function 配分函数),保证 $\int p_\theta(x)\, dx = 1$;
- $\theta$ 是网络参数。
• 物理:energy / partition function / Boltzmann distribution;
• 统计:unnormalised density $\tilde p(x) = e^{-E(x)}$;
• 机器学习:energy-based model / score model;
都是同一件事的不同语言。
3.3 EBM 的真正困难:分母 $Z$ 是积不出来的
讲师这里其实埋下了一个伏笔(chunk #542 末尾),后面才会引爆。我们替他把引爆点说穿:
$Z_\theta = \int e^{-E_\theta(x)}\, dx$ 是一个对整个数据空间的积分。如果 $x$ 是 $32 \times 32$ 的 RGB 图像,$x \in \mathbb{R}^{3072}$——这是3072 维空间。在 3072 维上做积分?
- 解析积分:$E_\theta$ 是神经网络,没有 closed form;
- 数值积分:网格法就算每维只切 2 段也要 $2^{3072}$ 个格点——比可观测宇宙的原子数还多;
- 蒙特卡洛:你得从 $p_\theta$ 自身采样来估 $Z$,但采样又需要先知道 $p_\theta$……死循环。
这就是下一节 score 函数闪亮登场的舞台——它一个动作就把 $Z$ 干掉。
四、Score 函数:求一次梯度,$Z$ 就消失
4.1 定义
$$\boxed{\,s(x) \;\triangleq\; \nabla_x \log p(x)\,}$$读作"x 的 score"。它是一个向量值函数:
- 输入:一个数据点 $x \in \mathbb{R}^d$;
- 输出:一个和 $x$ 同维度的向量 $\in \mathbb{R}^d$;
- 第 $i$ 个分量是 $\partial \log p(x) / \partial x_i$。
4.2 关键代数:$Z$ 在求梯度时消失
设 $p(x) = \tilde p(x) / Z$,其中 $\tilde p(x) = e^{-E(x)}$ 是非归一化密度,$Z$ 是和 $x$ 无关的常数。来求 score:
$$\nabla_x \log p(x) \;=\; \nabla_x \log \tilde p(x)$$ 归一化常数 $Z$ 完全消失了。整个 score-based modelling 的立身之本就在这一行——我们不需要再为 $Z$ 苦恼,可以只用非归一化密度就建模整个 $p(x)$ 的"方向信息"。
4.3 这意味着什么?(一句话懂 score 为什么"赢")
EBM 想学 $p(x)$,必须算 $Z$;Score 模型只学 $\nabla_x \log p(x)$,不必算 $Z$。
牺牲:你学到的是"方向场",不是"密度本身"。
回报:训练可行。
但你立刻会问:"只学方向有什么用?我要生成图像啊,你又不能给我 $p(x)$ 让我从里面采样。"——这正是 Langevin 动力学(第 9 章)要解决的问题:只要知道方向场,就能在上面"爬山采样"。本章先按下不表。
另一个常见的反问是:"那训练用什么损失?没有 $p(x)$,怎么知道我的 $s_\theta$ 算得对不对?"——直觉上的答案是:用有限样本巧妙地构造一个目标函数,让它的最优解恰好是真 score。这就是 Hyvärinen 2005 的 score matching loss、以及 Vincent 2011 的 denoising score matching。它们的故事留给第 10 章。这里只先种下种子:score 这个对象,可以在不知道 $p$ 的情况下学——这件事本身就是一个数学上的小奇迹。
$\nabla \log p = -\nabla E$ 这个关系物理学家几十年前就知道——这就是"力 = 负的势能梯度"在概率版本里的写法。但从这一观察走到"我们用神经网络直接拟合 score 而不学 $p$"需要两步:(1) 想到不学 $p$ 而学它的梯度;(2) 想出怎么不用 $p$ 就能学梯度——也就是 score matching 损失(下一章主题)。Aapo Hyvärinen 2005 年的论文《Estimation of Non-Normalized Statistical Models by Score Matching》才把这两步打通。
五、Score 函数的几何意义:向量场
讲师没有在 Lecture 5 用 "vector field" 这个词,但反复强调"方向"——磁铁拉力的方向、能量下降的方向。Score 函数就是数据空间上的向量场。逐字理解:
- "场"(field):空间每一点都赋一个值;
- "向量场"(vector field):每一点赋的值是一个向量,不是标量;
- "score 向量场":每一点的向量是 $\nabla_x \log p(x)$。
5.1 在数据流形上 / 流形外的行为
真实图像分布有一个重要性质:它集中在一个低维流形(manifold)上。比如自然图像的有效自由度远低于像素总数。所以 score 向量场的几何长这样:
- 远离流形(在噪声里):score 强烈指向流形("快回家");
- 接近流形(数据稀疏但还在分布支撑内):score 较温和,仍指向稠密区;
- 在流形稠密处:score 接近 0(这里已经是局部极大值)。
5.2 一个练手解析例
取 $p(x) = \mathcal{N}(x; \mu, \sigma^2 I)$(高斯)。算 score:
Why:把高斯密度的指数项展开,前面的 $(2\pi\sigma^2)^{-d/2}$ 跑进了常数 $C$。
$$\nabla_x \log p(x) \;=\; -\frac{1}{\sigma^2}(x - \mu)$$ Why:$\|x - \mu\|^2$ 对 $x$ 的梯度是 $2(x - \mu)$;前面有 $-1/(2\sigma^2)$,乘起来得到 $-(x-\mu)/\sigma^2$。
读这个公式:
- $x = \mu$ 时(在均值上),score = 0——正中心;
- $x$ 远离 $\mu$ 时,score 的大小线性增长,方向始终指回 $\mu$;
- $\sigma$ 越小,同样位置的 score 越大——"陡峭的高斯"拉力更强。
六、为什么是「log」p(x) 的梯度,不是 p(x) 的梯度?
这是教材读者最常问的一个问题。讲师在 Lecture 5 没正面回答(他直接给出能量 → 概率的指数关系,对 log 已经默认)。但理解这一点是钥匙:
6.1 数值原因
$p(x)$ 在高维里几乎处处极小(密度被分到指数级多的体积上)。直接处理 $p(x)$ 会下溢成 0。$\log p(x)$ 是有限值,数值稳定。这是任何概率建模都要先取 log 的常识。
6.2 几何/结构原因(更深的)
用乘法法则:
$$\nabla_x p(x) \;=\; p(x) \cdot \nabla_x \log p(x)$$两边除以 $p(x)$:
$$\nabla_x \log p(x) \;=\; \frac{\nabla_x p(x)}{p(x)}$$意思是:score 是"密度的相对增长率"而不是绝对增长率。它把密度大小的影响除掉了,只留形状信息。两个分布形状一样、整体放大 100 倍,绝对梯度 $\nabla p$ 也放大 100 倍,但 score $\nabla \log p$ 完全相同。
6.3 配分函数原因(最关键的)
就是我们 4.2 节算过的:
- $\nabla_x p(x)$ 依赖 $Z$;
- $\nabla_x \log p(x)$ 不依赖 $Z$。
取 log 这一步把乘法变成加法,于是 $\log Z$ 变成一个加性常数,被梯度清零。如果不取 log,你永远绕不开 $Z$。
七、Score 和 diffusion 的连接点(伏笔)
讲师在 chunk #533-534 给出了核心承诺:score 函数和 diffusion "closely intersect"。本章先列出三个具体连接点,下两章一一展开。
7.1 反向 SDE 里 score 是唯一未知量
Anderson 1982 的结果是:一个 forward SDE
$$dx_t = f(x_t, t)\, dt + g(t)\, dw$$它的反向时间过程是:
$$dx_t \;=\; \big[f(x_t, t) - g(t)^2 \nabla_x \log p_t(x_t)\big]\, dt + g(t)\, d\bar w$$注意红字:反向 SDE 里出现了 $\nabla_x \log p_t(x_t)$——就是 score 函数,只不过是每个噪声水平 t 上的边际密度 $p_t$ 的 score。$f$ 和 $g$ 是 forward 过程自己设定的,已知;唯一未知的就是 score。所以"做 diffusion 生成 = 学每个 t 的 score"。详见 第 11 章。
7.2 DDPM 的噪声预测器其实在学 score
DDPM 的网络 $\epsilon_\theta(x_t, t)$ 训练目标是预测加进去的噪声。但代数上有:
$$\nabla_{x_t} \log q(x_t | x_0) \;=\; -\frac{x_t - \sqrt{\bar\alpha_t}\, x_0}{1 - \bar\alpha_t} \;=\; -\frac{\epsilon}{\sqrt{1 - \bar\alpha_t}}$$所以预测噪声 $\epsilon$ 等价于(差一个负系数地)预测 score。这就是 Yang Song 在 2021 SDE 论文里证明"DDPM 是 score-based 模型一个特例"的代数根。第 11 章正式给出。
7.3 Score matching:怎么在不知道 $p$ 的情况下学 $\nabla \log p$?
这是下一章 第 10 章的主题:Hyvärinen 2005 score matching、denoising score matching、sliced score matching。本章只点题:可以的,且只需要训练样本。
八、跨课程对比:Vizuara vs. CMU 的进路
本章的两个源课程对 score 的处理风格非常不同,值得对照一下:
8.1 Vizuara 路线:物理直觉先行
- 从"能量谷底 + 球"的物理类比切入;
- 用"磁铁桌面"形象化方向场;
- 最后才写出 $\nabla \log p$ 的公式;
- 风格:低数学密度、高直觉密度,适合初学者。
8.2 CMU 10799 路线:直接进 score-based 框架
CMU Lecture 4(chunk #910)的开篇风格完全不同(讲师 Kelly Hu):
- 从 DDPM 的 forward / reverse 过程切入;
- 把 score-based 模型当作 DDPM 的"另一种等价表达";
- 很快进入 SDE / score matching loss 的代数推导;
- 风格:高数学密度、高节奏,假设你已经看过 DDPM 一遍。
8.3 该怎么选?
两个路线对应两种学习目标。第一次学:跟 Vizuara 的物理直觉路线,磁铁和谷底先嵌到脑子里。要做研究 / 复现论文:必须把 CMU 路线也走一遍,因为现代论文(Karras et al. 2022 EDM、Yang Song et al. 2021 SDE)默认 score-based 框架。本教材的做法是先 Vizuara 后 CMU——本章主要走前者,第 11 章接 CMU 的形式化讲法。
九、Score 函数的常见误解(FAQ)
9.1 "score" 这个词为什么这么叫?
来自统计学。在经典统计里,score function 指 likelihood 对参数的梯度:$\nabla_\theta \log p_\theta(x)$。它衡量"参数动一动对似然影响多大"。Yang Song 在 score-based generative model 里挪用了这个词,但把梯度对象从 $\theta$ 换成了 $x$——所以叫 Stein score(区别于 Fisher score)。日常口语两个都叫 score,但要看清楚对谁求梯度。
9.2 既然 score 是向量,那 score 网络的输出维度多大?
等于 $x$ 的维度。如果 $x$ 是 $32 \times 32 \times 3 = 3072$ 维图像,score 网络 $s_\theta(x, t)$ 的输出也是 3072 维向量。所以 score 网络架构上和 DDPM 的噪声预测网络几乎一样(U-Net、输入图像、输出同尺寸张量)——这也是为什么后来发现"DDPM ≡ score model"是顺理成章的。
9.3 Score 为什么不能用来"算概率"?
因为 score 只是 $\log p$ 的梯度,损失了"绝对高度"信息。两个 $\log p$ 整体差一个常数,它们的 score 完全相同。所以从 score 反推 $p(x)$ 需要做积分(一维 OK,高维不可解)。score 模型原生不会算似然——这是 score-based 模型相比 normalizing flows / autoregressive models 的一个真实劣势。SDE 论文用 "probability flow ODE" 才补回了精确似然的能力(第 11 章)。
9.4 EBM 和 score 模型到底是不是一回事?
有内在联系,但不是一回事:
- EBM:参数化 $E_\theta(x)$(标量输出),$p_\theta = e^{-E_\theta}/Z_\theta$。训练困难(需绕过 $Z_\theta$),但原则上能给出非归一化密度。
- Score model:参数化 $s_\theta(x)$(向量输出,直接是 score),不显式定义 $E_\theta$。训练简单(score matching),但不直接给密度。
它们的关系:EBM 是 score model 的"原函数"——如果 score model 的输出恰好是某个 $-E_\theta$ 的梯度(即"是保守向量场"),那它对应一个隐式的 EBM。但一般情况下神经网络输出的向量场不保守——这没关系,因为 Langevin 采样和反向 SDE 都不要求保守性。
9.5 那 score 函数有没有负的方向?
有。Score 是有符号的向量,它的每个分量都可以是负数。负号意味着"沿这个坐标轴的负方向走,log-密度上升更快"。负号在二维磁铁桌面上对应"箭头朝左下方"。如果一个学生把 score 写成 $\|\nabla \log p(x)\|$(取绝对值/范数)那就大错特错——他丢掉了 score 最关键的方向信息,只剩"这点附近密度变化得多剧烈"这个标量。Score 的灵魂在方向,不在大小。
十、用 PyTorch 实现一个最小 score model(伏笔代码)
讲师在 Lecture 5 没有给代码(chunks 都是直觉讲解)。但作为"教材体"我们补上最小骨架,让你看到 score model就是一个普通的输入-输出同维度的神经网络:
import torch
import torch.nn as nn
import torch.nn.functional as F
class ScoreNet(nn.Module):
"""
一个最小 score 网络:
输入 x ∈ R^d,输出 s_θ(x) ∈ R^d(和 x 同维度)。
"""
def __init__(self, dim=2, hidden=128):
super().__init__()
self.net = nn.Sequential(
nn.Linear(dim, hidden),
nn.SiLU(),
nn.Linear(hidden, hidden),
nn.SiLU(),
nn.Linear(hidden, dim), # 输出维度 = 输入维度
)
def forward(self, x):
return self.net(x) # 直接是 ∇_x log p(x) 的估计
# 用法演示:在已知 ground-truth 的玩具高斯上"检验" score 的形状
score = ScoreNet(dim=2)
x = torch.randn(64, 2)
s = score(x) # s.shape == x.shape == [64, 2]
print(s.shape) # torch.Size([64, 2])
# 解析 score(用于对照训练):N(0, I) 的 ground-truth score 是 -x
gt = -x
mse = F.mse_loss(s, gt) # 这是 explicit score matching loss
# 真实数据上 gt 不可得 ——
# 下一章会讲怎么绕过这个困难(score matching)
十一、本章脉络回顾
把这一章压成一张"认知坡道图":
- 问题:生成建模本质是学 $p_\text{data}(x)$,但直接学密度有归一化困难。
- EBM 视角:把 $p(x) = e^{-E(x)}/Z$,建模能量函数。物理直觉强,但 $Z$ 难算。
- Score 函数定义:$s(x) = \nabla_x \log p(x)$,是一个和 $x$ 同维度的向量场。
- 关键代数:$\nabla_x \log p(x) = \nabla_x \log \tilde p(x)$——$Z$ 消失。
- 几何意义:每点钉一支箭头,指向密度上升最陡的方向;磁铁拉力图。
- 为什么 log:让 $Z$ 出现在加法位置,求梯度才能清零。
- 和 diffusion 的桥:反向 SDE 里唯一未知量就是 score;DDPM 的噪声预测等价 score 预测。
- 下一步:第 9 章 Langevin 采样;第 10 章 score matching 训练;第 11 章 DDPM / score / SDE 三位一体。
本章要记住的(讲师亲口给的核心)
- Score = 对输入 x 的 log-密度梯度:$s(x) = \nabla_x \log p(x)$,输出向量与输入同维度。不要和模型参数的梯度混淆。
- 「磁铁桌面」比喻(Vizuara L7):空间每一点都有一支指向"最近磁铁堆"的箭头。Score 就是这张拉力地图。
- 「能量谷底 + 球」直觉(Vizuara L5):低能 = 高概率,球往谷底滚。$p(x) = e^{-E(x)}/Z$ 是这套直觉的形式化——指数函数同时满足"非负、反向、合理"三条件。
- $Z$ 消失的代数:$\nabla_x \log p(x) = \nabla_x \log \tilde p(x)$,因为 $Z$ 不依赖 $x$,求梯度时清零。这是 score-based modelling 的立身之本。
- 为什么是 log p 而不是 p:log 把乘法变加法,让 $Z$ 出现在加性位置,求梯度才能消。这是数学上的"巧合",也是整条路线能存在的全部理由。
- 高斯例子:$p = \mathcal{N}(\mu, \sigma^2 I)$ 时 $s(x) = -(x-\mu)/\sigma^2$,指向 $\mu$,大小随距离线性增长。第 11 章 DDPM ↔ score 的代数核心就是这个公式。
- 承前启后:反向 SDE 里唯一未知量就是 score;DDPM 的 $\epsilon_\theta$ 等价于 $-s_\theta \cdot \sqrt{1-\bar\alpha_t}$。本章是 score-based 框架的总开关。