ELBO:似然的下界
为什么不能直接优化对数似然,要绕个弯。
3. ELBO:似然的下界
主源:Vizuara《Principles of Diffusion Models》Lecture 2(讲师 Dr. Raj Dandekar);副源:CMU 10799 S26 Lecture 1(讲师 Kelly Hu)。本章把上一章 VAE 里"$\log p(x)$ 不可算 → 用 ELBO 替代"的那一步彻底掰开揉碎,因为它是后续整本书所有 diffusion 损失函数的母模板。
📌 TL;DR
ELBO(Evidence Lower BOund,证据下界)是一个我们能算的量,用来"代理"我们想算但算不出的 $\log p(x)$。
核心不等式:
$$\log p(x) \;\geq\; \underbrace{\mathbb{E}_{q(z|x)}[\log p(x|z)]}_{\text{重构项}} \;-\; \underbrace{D_{\mathrm{KL}}\!\big(q(z|x) \,\|\, p(z)\big)}_{\text{KL 正则项}} \;=\; \mathrm{ELBO}(x)$$证明只用了三件事:(1) 在积分里乘 $q/q = 1$ 把积分写成"q 上的期望";(2) 对凹函数 $\log$ 用 Jensen 不等式把 $\log \mathbb{E}[\cdot]$ 翻成 $\mathbb{E}[\log \cdot]$;(3) 拆 log 把"和 prior 有关的部分"识别成 KL 散度。
三个名字要记住:$\log p(x)$ 叫 evidence(证据,因为它是"数据真的出现过"的概率);ELBO 是它的下界;两者之差恰好是 $D_{\mathrm{KL}}(q \,\|\, \text{真后验})$,所以把 ELBO 顶高同时做了两件事——逼近真实似然、把变分分布 q 推向真后验。
为什么本章必读:上一章 VAE 训练就是最大化 ELBO;下一章开始的 DDPM 训练损失,本质上是把 ELBO 沿 T 步展开。后面所有"看起来很吓人"的 diffusion 损失公式,骨架都是这三行不等式。
一、为什么我们要绕这一大圈?——直接最大化 $\log p(x)$ 不行吗?
所有生成模型的"理想目标"都写得出来:
$$\max_\theta \sum_{i=1}^N \log p_\theta(x_i)$$给定训练集 $\{x_1, \dots, x_N\}$,调参数 $\theta$ 让模型给"真实数据"最大的概率。如果能直接做这件事,世界就太美好了。但只要模型里出现"潜变量 $z$",
$$p_\theta(x) = \int p_\theta(x|z)\, p(z)\, dz$$这个积分在高维里就算不出来。三个理由(上一章已展开,本章再敲一遍因为它就是 ELBO 的存在理由):
- 维度诅咒。$z$ 通常几十到几百维,数值积分需要的样本数随维度指数爆炸。
- 没有解析解。$p_\theta(x|z)$ 是一个神经网络,没有 closed-form 的反导。
- 朴素蒙特卡洛方差爆炸。如果你试着从先验 $p(z) = \mathcal{N}(0, I)$ 里采一堆 $z_k$ 然后算 $\frac{1}{K}\sum_k p(x|z_k)$,会发现绝大多数随机采到的 $z$ 根本解码不出 x,$p(x|z_k)$ 几乎都是 0,有效样本极少。
我们没法把"宇宙中所有可能的 z"都遍历一遍。
1.1 用一个具体数字感受"不可算"
"高维积分算不出"这句话听多了容易麻木,给个数字感受下。假设 $z$ 是 100 维(VAE 实战常见尺度),如果你想做最朴素的数值积分,每个维度切 10 段,需要 $10^{100}$ 个网格点。宇宙里粒子总数大约 $10^{80}$。换句话说把宇宙里每个粒子都拿来算一个网格点的积分值,都不够用。这不是"算得慢",是"物理上不可能"。所以我们必须找别的路。
1.2 Vizuara 的「地球-火星传送猫」类比
Dr. Raj 用了一个非常生动的故事来解释为什么 $p(x)$ 是 intractable 的、为什么我们必须找一个替代量去优化(这个故事在第 2 章 VAE 里也出现过,本章把它重新作为 ELBO 存在的动机):
假设你想把一只猫从地球传送到火星。把每个原子打包发送是不可能的(数据量太大)。所以你把猫压缩成一份"秘方" z(潜变量),传到火星,然后在火星 decode 还原。
• 重构目标:火星上 decode 出来的猫看起来要像地球上那只。
• 正则目标:传送的秘方必须用"标准语言"——也就是 $\mathcal{N}(0, I)$——书写。否则火星上的人看不懂你的秘方。
这个比喻在 ELBO 视角下还可以再加一层:
- "猫真实存在的概率" $p(x)$ 就像"猫整只完整地同时出现在火星地表"。这件事的概率是宇宙级别的小数,我们根本算不出来。
- 但我们可以算的是:给定一份秘方 z,能 decode 出这只猫的概率 $p(x|z)$,以及这份秘方本身合不合规 $p(z)$ vs $q(z|x)$。
- 把这两件可算的事相加(带上正确的符号和期望),就得到 ELBO——一个我们能写下表达式、能取梯度、能反传的代理目标。
二、CMU 副源:Kelly 把这步称为「the greatest mathematical trick of all time」
Vizuara 把推导讲得直觉先行(先讲 hello 机器、再上数学);CMU 10799 这门课的讲师 Kelly Hu 则用一种近乎崇拜的语气来评价这一步代数变换。她管"在积分里乘以 $q/q$ 然后用 Jensen 不等式"叫做"史上最伟大的数学技巧"。
Kelly(CMU 10799 L1,复述要点):当你看到 $\log p(x) = \log \int p(x, z)\, dz$ 不可解时,不要试图直接打这个积分。乘 1,把积分变成期望,然后把 log 移进去——这是变分推断这门学科存在的全部理由。
本章会把这个"史上最伟大的技巧"拆成六步,每一步都给"为什么这么做"。但在那之前,先把两条课程线索摆在一起:
• Vizuara / Dr. Raj:从"造一台手写 hello 机器"开始,先讲清"潜变量 z"是什么、"为什么 encoder 要输出分布而不是点",再用「不能把猫的原子一个一个传到火星」作为 $p(x)$ 不可算的直觉,自然引出 ELBO。
• CMU 10799 / Kelly Hu:直接从概率论视角切入,把 $\log \int p(x, z) dz$ 写在板上,强调"乘 $q/q$ + Jensen"是变分推断学科的灵魂技巧。
两种讲法不冲突——前者负责"为什么需要",后者负责"为什么可行"。本章把它们焊接成一条线。
三、复习一下记号(怕你忘了 VAE 里那些字母)
ELBO 推导里出现的字母都是 VAE 那一章定义过的,但有读者可能跳着读,所以这里再列一次,作为本章的"符号表":
- $x$:观测数据(比如一张手写 hello 图)。
- $z$:潜变量(latent variable,secret recipe)。在 hello 例子里可以是 $z_1 = $ 倾斜度、$z_2 = $ 整洁度。
- $p(z)$:先验,通常取 $\mathcal{N}(0, I)$。表示"还没看到任何图像时,潜变量本身是怎么分布的"。
- $p_\theta(x|z)$:似然 / decoder,由神经网络参数 $\theta$ 表达。"给我一份秘方 z,我吐出一张图 x 的概率"。
- $p(x)$:边际似然 / evidence。$p(x) = \int p(x|z) p(z) dz$。我们最终想最大化的就是这个。它是不可算的。
- $p(z|x)$:真后验。看到一张图 x 后,"产生它的潜变量"应该长什么样。由 Bayes 公式 $p(z|x) = \frac{p(x|z)p(z)}{p(x)}$ 给出,但分母里有 $p(x)$,同样不可算。
- $q_\phi(z|x)$:变分近似后验 / encoder,由另一组神经网络参数 $\phi$ 表达。它的任务是逼近 $p(z|x)$。通常令 $q_\phi(z|x) = \mathcal{N}(\mu_\phi(x), \sigma^2_\phi(x))$。
• $D_{\mathrm{KL}}(q_\phi(z|x) \,\|\, p(z))$ — q 对先验 prior 的 KL,可以算,且有 closed-form。这是 ELBO 里的正则项。
• $D_{\mathrm{KL}}(q_\phi(z|x) \,\|\, p(z|x))$ — q 对真后验的 KL,算不出来(因为 $p(z|x)$ 算不出)。这是"$\log p(x)$ 和 ELBO 之间的缝隙"。
分子-分母位置一样、第二项一个是 $p(z)$、一个是 $p(z|x)$,少看一个竖线整章就糊了。
四、ELBO 的完整推导(六步,每步带 Why)
下面这一段是本章的"心脏"。把它读完、合上书自己默写一遍能复原,才算真的懂了 ELBO。每一步右边的 Why 解释这一步的代数动机。
困难:这个积分对高维 z 不可算(见第一节三大理由)。
这一步的妙处:原本我们要在未知的真分布 $p(z)$ 上积分(且要算所有 z 的贡献);乘进 $q$ 之后,可以把积分识别成"在 $q$ 这个我们能采样的分布上的期望"。 $$= \log \mathbb{E}_{q_\phi(z|x)}\!\left[\frac{p(x|z)\, p(z)}{q_\phi(z|x)}\right]$$ 请注意:到这里为止全是等式。我们什么信息都没丢。
代价:从 = 变成 ≥。我们丢失了一些信息——丢失的部分恰好等于 $D_{\mathrm{KL}}(q_\phi(z|x) \,\|\, p(z|x))$(在第五节会证明)。
到这里 ELBO 已经"显形"了——三项里第一项是 decoder 项,剩下两项可以合并成一个 KL。
关键点:这里的 KL 是 $q$ 对 prior $p(z)$ 的(比如 $\mathcal{N}(0, I)$),不是对真后验 $p(z|x)$ 的。前者两个高斯之间有 closed-form,可算;后者算不出。这就是 ELBO 之所以"能算"的根本原因。
- 步骤 2 把不能算的积分包装成 $q$ 上的期望——这一步是"乘 1",看起来啥都没做,实际打开了所有大门。
- 步骤 3 用 Jensen 把 $\log$ 移进期望——这一步用不等式付了代价,但换来了可拆解的形式。
五、为什么 $\log p(x) - \mathrm{ELBO} = D_{\mathrm{KL}}(q \,\|\, p_{\text{真后验}})$?
步骤 3 我们用了不等式,≥ 的缝隙到底是多少?本节给出精确答案——这是 ELBO 一个非常优美的恒等式,所有变分推断教科书都会证一遍:
$$\log p(x) \;=\; \mathrm{ELBO}(x) \;+\; D_{\mathrm{KL}}\!\big(q_\phi(z|x) \,\|\, p(z|x)\big)$$简短证明:从 KL 散度的定义出发:
$$D_{\mathrm{KL}}\!\big(q(z|x) \| p(z|x)\big) \;=\; \mathbb{E}_q\!\left[\log \frac{q(z|x)}{p(z|x)}\right]$$用 Bayes 公式 $p(z|x) = p(x|z) p(z) / p(x)$ 代入分母里的 $p(z|x)$:
$$= \mathbb{E}_q\!\left[\log \frac{q(z|x)\, p(x)}{p(x|z)\, p(z)}\right]$$拆 log,把 $\log p(x)$ 提到期望外(它和 z 无关):
$$= \log p(x) \;+\; \mathbb{E}_q\!\left[\log \frac{q(z|x)}{p(x|z)\, p(z)}\right]$$ $$= \log p(x) \;-\; \underbrace{\big(\mathbb{E}_q[\log p(x|z)] - D_{\mathrm{KL}}(q(z|x) \| p(z))\big)}_{= \mathrm{ELBO}(x)}$$所以 $\log p(x) = \mathrm{ELBO}(x) + D_{\mathrm{KL}}(q \,\|\, p_{\text{真后验}})$,KL 非负,于是 $\log p(x) \geq \mathrm{ELBO}(x)$。等号当且仅当 $q(z|x) = p(z|x)$——也就是变分近似完美匹配真后验时成立。
- $\log p(x)$ 是个固定的数(对给定 $x$),所以"顶高 ELBO" $\Leftrightarrow$ "压低 $D_{\mathrm{KL}}(q \| p_{\text{真后验}})$"。也就是训练 encoder 让 $q$ 越来越像真后验。
- 同时,因为 $\log p(x) \geq \mathrm{ELBO}$,顶高 ELBO 就是把 $\log p(x)$ 的"下界天花板"往上推——间接地训练 decoder 让数据似然变大。
六、ELBO 在数轴上长什么样:Jensen 之"抬升"
抽象代数读多了容易麻木,下面这张图把上面的不等式画成"两条曲线"的样子。
把绿色实线(ELBO)往上推一点点,蓝色虚线(真 log-likelihood)至少不会比它低。如果运气好(变分族足够灵活、训练充分),缝隙会缩小到几乎为零,此时 ELBO 几乎就是 $\log p(x)$ 本身。但理论上缝隙永远 ≥ 0——所以 ELBO 是下界而非等价物。
七、ELBO 两项的物理意义
把 ELBO 写成 minimize 形式(取负号)就是 VAE 的训练损失:
$$L_{\text{VAE}}(x) \;=\; -\,\mathrm{ELBO}(x) \;=\; \underbrace{-\,\mathbb{E}_{q_\phi(z|x)}[\log p_\theta(x|z)]}_{\text{重构损失}} \;+\; \underbrace{D_{\mathrm{KL}}\!\big(q_\phi(z|x) \,\|\, p(z)\big)}_{\text{KL 正则损失}}$$7.1 重构项:让 decoder 还原原图
$\mathbb{E}_{q_\phi(z|x)}[\log p_\theta(x|z)]$ 这一项的物理意义:
- 给定真实图 $x$,让 encoder 输出潜变量分布 $q_\phi(z|x)$。
- 从这个分布里采一个 $z$。
- 把 $z$ 送进 decoder,得到 $p_\theta(x|z)$。
- 我们希望"在 decoder 的视角下,原图 $x$ 出现的可能性 $\log p_\theta(x|z)$ 越大越好"。
实践中:
- 如果 $p_\theta(x|z) = \mathcal{N}(\mu_\theta(z), \sigma^2 I)$(连续像素,高斯似然),$-\log p_\theta(x|z)$ 化简后就是 MSE(均方误差)。
- 如果 $p_\theta(x|z) = \prod_i \text{Bernoulli}(\mu_i)$(0/1 像素,Bernoulli 似然),$-\log p_\theta(x|z)$ 化简后就是二值交叉熵 BCE。
7.2 KL 正则项:让 encoder 别乱发分布
$D_{\mathrm{KL}}(q_\phi(z|x) \,\|\, p(z))$ 这一项度量"encoder 输出的分布"和"先验"的距离。它在 loss 里扮演正则角色:
- 如果只有重构项,encoder 会作弊——把每张图映到一个超窄的 delta 分布($\sigma \to 0$),让 decoder 死记硬背。Latent space 退化成离散点。
- KL 正则强迫 $q_\phi(z|x)$ 形状像 $\mathcal{N}(0, I)$——既不能太宽($\sigma$ 过大被罚),也不能太窄($\sigma$ 过小被罚,因为 $-\log \sigma^2$ 会爆),中心也得靠近原点。
- 结果:不同图像的 $q_\phi(z|x)$ 互相重叠,latent space 变成连续的——从中任意采 $z$ 都能 decode 出合理图像。
八、把 ELBO 和上一章 VAE 对齐
读到这里你应该有一种"原来 VAE 的 loss 就是 ELBO 的反"的恍然大悟感。具体对应关系:
| VAE 章里的概念 | ELBO 推导里的对应项 |
|---|---|
| Encoder $q_\phi(z|x)$ | 变分近似后验 |
| Decoder $p_\theta(x|z)$ | 出现在重构项 $\mathbb{E}_q[\log p_\theta(x|z)]$ 里 |
| Prior 假设 $p(z) = \mathcal{N}(0, I)$ | 出现在 KL 正则项里 |
| 重参数化 $z = \mu + \sigma \odot \epsilon$ | 让重构项中的期望梯度可以反传 |
| $L_{\text{VAE}} = $ BCE + KL | $L_{\text{VAE}} = -\mathrm{ELBO}$ |
换句话说:上一章我们是"反向工程"地从直觉里凑出了 VAE 的 loss;本章我们是"正向工程"地从 $\log p(x)$ 出发推出 ELBO,发现两者完全等价。VAE 不是凭空想出来的——它是 ELBO 这个数学结构的最简实例。
8.1 一个常见误解
纠正:ELBO 是任何含潜变量的概率生成模型的通用训练目标。VAE 是最简单的实例(1 步 latent + 高斯 prior + 神经网络 encoder/decoder)。
DDPM 是另一个实例(T 步 latent + 高斯转移核 + 固定 encoder + 神经网络 decoder)。Score-based model、Flow Matching 在某种意义上也都可以追溯到 ELBO 这条主干(虽然各家有更高效的等价目标)。
九、向前展望:DDPM 的损失就是 T 步 ELBO
本章读完,你已经掌握了"单步潜变量"模型的训练范式。下一道桥就是把单步变成多步——这就是 diffusion 模型的全部数学增量。
VAE 里的 latent 是"一步": $x \to z \to x$。DDPM 把它展开成 T 步:
$$x = x_0 \;\to\; x_1 \;\to\; x_2 \;\to\; \cdots \;\to\; x_T \approx \mathcal{N}(0, I)$$每一步都是一次"加一点噪声"的固定变分分布(forward process $q(x_t | x_{t-1})$ 不带可学参数,只有方差 schedule)。反向每一步 $p_\theta(x_{t-1} | x_t)$ 是可学的小型 decoder。
整个模型的 ELBO 形式上长这样(先放个预告,第 5 章会完整推):
$$\log p(x_0) \;\geq\; \mathbb{E}_q\!\left[\log p_\theta(x_0 | x_1) \;-\; \sum_{t=2}^T D_{\mathrm{KL}}\!\big(q(x_{t-1} | x_t, x_0) \,\|\, p_\theta(x_{t-1} | x_t)\big) \;-\; D_{\mathrm{KL}}\!\big(q(x_T | x_0) \,\|\, p(x_T)\big)\right]$$看上去吓人,但骨架就是 VAE 的 ELBO:
- 最左边一项 $\log p_\theta(x_0 | x_1)$ — 重构项("最后一步把 $x_1$ 还原回 $x_0$")。
- 中间一坨求和的 KL — 每一步的"q 对反向 decoder 的 KL"(VAE 里只有一项;DDPM 有 T-1 项)。
- 最右边的 KL — $x_T$ 是否接近 prior $\mathcal{N}(0, I)$(VAE 里也有,但对应 $z$ 的 prior 项)。
9.1 为什么 DDPM 比 VAE 表达力更强?
从 ELBO 的"q 灵活度决定近似精度"视角看,DDPM 把单步的 $q(z|x)$ 换成了 T 步的 $q(x_T, x_{T-1}, \dots, x_1 | x_0)$——这是一个分解成 T 个小高斯的"链式 q"。每个 $q(x_t | x_{t-1})$ 都极其简单(一次加噪),但它们级联起来可以表达非常复杂的近似后验分布,理论上远比 VAE 的单步对角高斯灵活。
反过来,反向链 $p_\theta(x_{t-1} | x_t)$ 也只需要每步都是简单高斯——这是 Sohl-Dickstein 2015 那篇原始 diffusion 论文的关键观察:如果 forward 每一步的加噪量足够小,真实反向也几乎是高斯,从而我们的小型反向 decoder 可以学得很准。这一切的损失推导框架,还是 ELBO。
9.2 simple loss 的 sneak peek
更让人惊叹的是:DDPM 那个看起来吓人的 T 项 ELBO,经过几步代数(重参数化 + 配方 + 选合理的方差)会化简成一行 MSE:
$$L_{\text{simple}}(\theta) \;=\; \mathbb{E}_{t, x_0, \epsilon}\Big[\big\|\epsilon - \epsilon_\theta(x_t, t)\big\|^2\Big]$$看到这里你应该想问:"为什么如此复杂的 ELBO 能压缩成预测噪声的 MSE?" 答案在第 6 章——本质上是因为 forward chain 选成了高斯加噪,每一步的 KL 都能写成"两个高斯均值之差的平方"。这是 Ho et al. 2020 那篇 DDPM 论文的工程贡献。本章你不需要懂这一步,只需要记住:所有这些化简的起点,是本章的 ELBO 公式。
十、把 ELBO 抽象成一个「优化范式」
ELBO 不止是一个公式,它代表了机器学习里一类处理"我想算的量算不出"的通用打法:
- 识别真正想算的量(比如 $\log p(x)$)。
- 承认它不可算,并找到造成不可算的"罪魁祸首"(这里是高维积分 $\int \cdots dz$)。
- 引入辅助分布 $q$(要求易于采样、易于参数化)。
- 构造一个可算的下界(或上界),使得"优化代理量"与"优化真量"在合适条件下等价或近似等价。
- 对代理量做梯度优化。
这个套路在 ML 里反复出现:
- EM 算法:完整数据 log-likelihood 算不出 → 引入 q → 同样用 Jensen → 得到 ELBO(事实上 EM 的 E 步就是优化 q、M 步就是优化 $\theta$,本质和 VAE 训练同构)。
- 变分推断(VI):精确后验算不出 → 引入参数化族 q → 最大化 ELBO ≡ 最小化 $D_{\mathrm{KL}}(q \| p_{\text{真后验}})$。
- Diffusion 模型的训练:完整 $\log p_\theta(x_0)$ 是 T 步嵌套积分 → 对每一步引入固定的 $q(x_t | x_{t-1})$ → 写出 T 步 ELBO → 化简为 "$\epsilon$-prediction" 简单 MSE 损失(这就是 DDPM 的"simple loss",第 6 章细讲)。
有。比如 IWAE(Importance-Weighted Autoencoder,Burda et al. 2015)用 K 个样本的重要性加权来构造一个更紧的下界——当 K → ∞ 时趋近真 $\log p(x)$。代价是计算更贵。这条路线属于"变分下界 family"的延伸,本书后续章节不会展开,但有兴趣可以查 IWAE 这关键字。
另外,VAE 训练实践里常用的 β-VAE(Higgins et al. 2017)不是更紧的下界,而是把 KL 项加权 $\beta > 1$,鼓励 disentangled latent;这一改动后不再是严格的 $\log p(x)$ 下界,是一个工程上的 trade-off。读论文遇到 $\beta$ 时心里有数。
十一、思维误区清扫
本节集中扫一下学 ELBO 时常见的几个坑,每一个都有现成的回答。
11.1 「ELBO 是个不等式,那训练时优化的是什么?」
训练时优化的是 ELBO 本身(取负后做梯度下降)。我们不试图直接优化 $\log p(x)$——优化的是它的可算下界。因为 ELBO 是 $\theta, \phi$ 两组参数的函数,对它求梯度有完全 well-defined 的语义。
11.2 「Jensen 是 ≥ 不等式。但 KL ≥ 0 也是不等式。这两件事是同一回事吗?」
是同一回事的两种说法。从 Jensen 出发推不等号、从 KL ≥ 0 出发推不等号,最终都会得到 $\log p(x) \geq \mathrm{ELBO}$;事实上第五节那个恒等式 $\log p(x) = \mathrm{ELBO} + D_{\mathrm{KL}}(q \| p_{\text{真后验}})$ 就把两条线粘起来了。
11.3 「ELBO 是 $x$ 的函数还是 $\theta, \phi$ 的函数?」
都是。对一个给定样本 $x$,ELBO$(x; \theta, \phi)$ 是关于参数 $\theta, \phi$ 的标量。训练时我们对一个 mini-batch 的样本各算 ELBO,求和(或平均)作为 batch loss,对 $\theta, \phi$ 反传。
11.4 「为什么不直接把 KL 算到 $p(z|x)$?反正都是 KL。」
因为 $p(z|x) = p(x|z)p(z)/p(x)$ 里分母有 $p(x)$,和我们想算的量等价难。ELBO 的 KL 是 $q$ 对 prior $p(z)$ 的,prior 是我们选的(通常 $\mathcal{N}(0, I)$)所以可算。这就是 ELBO 设计上的关键 trick:把不可算的 $p(z|x)$ 换成可算的 $p(z)$,代价是引入了 Jensen 不等式的 gap。
11.5 「Jensen 不等式的 gap 大不大?」
取决于变分族 $q$ 的表达能力。如果 $q$ 太穷(比如限制为对角协方差高斯)、而真后验很复杂,gap 就大;如果 $q$ 可以是 normalizing flow 这种非常灵活的族,gap 可以很小。这是"变分推断的精度由 q 的灵活度决定"的另一种表述。Diffusion 模型在某种意义上"靠 T 步嵌套 q"实现了非常灵活的近似——这也是它为什么这么准的部分原因。
11.6 「ELBO 推导用了 Jensen,那等号何时成立?」
Jensen 不等式 $\log \mathbb{E}[Y] \geq \mathbb{E}[\log Y]$ 等号当且仅当 $Y$ 是常数(即 $Y$ 在期望分布下几乎处处取同一值)。代入我们的 ELBO 推导:$Y = \frac{p(x|z)p(z)}{q(z|x)} = \frac{p(x,z)}{q(z|x)}$。要这个比值对所有 $z$(在 $q$ 下)是常数,就必须 $q(z|x) \propto p(x,z)$,也就是 $q(z|x) = p(z|x)$。
这和第五节恒等式 $\log p(x) - \mathrm{ELBO} = D_{\mathrm{KL}}(q \| p_{\text{真后验}})$ 给出的等号条件完全一致——两条路径推出同一个结论:"$q$ 等于真后验时 ELBO 紧"。这就是为什么训练 encoder(让 $q$ 更像真后验)和最大化 ELBO 是同一回事。
11.7 「为什么是 KL(q‖p) 不是 KL(p‖q)?」
KL 散度不对称:$D_{\mathrm{KL}}(q \| p) \neq D_{\mathrm{KL}}(p \| q)$。ELBO 推导自然产生的是前向 KL $D_{\mathrm{KL}}(q \| p_{\text{真后验}})$。这一选择的代数后果是:$q$ 倾向于"在真后验为零的地方也为零"——也就是mode-seeking。如果真后验是多峰,$q$ 倾向于只覆盖其中一个峰,而不是把多个峰都涂上。
这是变分推断一个著名的"特性"(feature, 不是 bug)。某些应用想要"覆盖所有峰",会选择 minimize $D_{\mathrm{KL}}(p_{\text{真后验}} \| q)$(即 expectation propagation 那一脉),但代价是不再有 ELBO 这种漂亮的下界结构。Diffusion 模型用前向 KL,原因之一就是工程上简单可算。
十二、(选读)从信息论看 ELBO
如果你学过信息论,下面这个角度会让 ELBO 更亲切。把 ELBO 重新分组:
$$\mathrm{ELBO}(x) \;=\; \mathbb{E}_{q(z|x)}[\log p(x|z)] \;-\; D_{\mathrm{KL}}(q(z|x) \| p(z))$$- 第一项 $\mathbb{E}_q[\log p(x|z)]$ 是 decoder 给观测 $x$ 的"对数概率",对应负的重构编码代价。Hinton/Frey 老的"minimum description length"视角说:好的潜变量应该让数据被便宜地编码——这就是"重构代价低"。
- 第二项 $D_{\mathrm{KL}}(q(z|x) \| p(z))$ 是潜变量本身的"编码代价"——把 $z$ 用 prior 这本"密码本"编码所需的比特数 - 用 q 编码所需的比特数。
所以最大化 ELBO 等价于最小化总编码长度:用最少的比特把 $x$ 经过 $z$ 这条路径编码出来。这是 rate-distortion / bits-back coding 视角,把 VAE 和无损压缩联系起来。Karpathy、Hinton 在多个讲义里都强调过这一视角。本书后面讲 Latent Diffusion 时还会回到"潜空间的有效比特数"这个量化讨论。
这种"压缩即智能"的直觉,在 2023 之后随着大模型时代被反复唤起——OpenAI 的 Ilya Sutskever 多次在采访里强调"learning is compression"。其根源就是这条 MDL/ELBO 视角。从 ELBO 出发,所有生成模型都可以被解读为带损/无损的压缩器。这不是花哨的修辞,是有具体比特数对应的工程量。
十三、本章源视频片段
本章要带走的(七条)
- $\log p(x)$ 不可算(Dr. Raj「we can't integrate over the entire universe」/「不能把猫的原子一个一个传到火星」),所以我们最大化它的可算下界 ELBO。
- ELBO = 重构 $-$ KL。重构项让 decoder 还原原图;KL 项让 encoder 输出的 $q(z|x)$ 贴近先验 $p(z) = \mathcal{N}(0, I)$。
- "史上最伟大的数学技巧"(Kelly Hu)= 在积分里乘 $q/q$ + Jensen 把 log 移进期望。这两步合起来构成整个变分推断学科。
- 恒等式 $\log p(x) = \mathrm{ELBO}(x) + D_{\mathrm{KL}}(q(z|x) \| p(z|x))$。"$\log p(x)$ 和 ELBO 的缝隙就是 q 对真后验的 KL"——所以顶高 ELBO 一举两得(提升似然 + 改进变分近似)。
- ELBO 里的 KL 是 q 对 prior 的,不是 q 对真后验的。前者可算(两个高斯有 closed-form),后者不可算(真后验本身就算不出)。这是 ELBO 之所以工程可用的核心 trick。
- VAE = ELBO 的最简实例;DDPM = ELBO 在 T 步链上的展开。本章四节的六步推导,是后面所有 diffusion 损失公式的母模板。
- ELBO 是一个通用打法:每次你遇到"想算的量算不出",都可以套"引入 q → 乘 q/q → Jensen → 识别 KL"这四步。EM、VI、Diffusion 都靠这一招吃饭。