第 2 章 · Module 1: 直觉与生成模型基础

VAE:把数据压成「潜空间」再生成

第一个真正能生成图片的概率模型,也是后面 latent diffusion 的祖宗。


2. VAE:把数据压成「潜空间」再生成

主源:Vizuara《Principles of Diffusion Models》Lecture 2(讲师 Dr. Raj Dandekar);副源:CMU 10799 Lecture 1。

📌 TL;DR

VAE = Autoencoder + 概率视角 + 变分推断。它把"压缩-重建"的瓶颈从一个点升级成一个分布 $\mathcal{N}(\mu, \sigma^2)$,目标是最大化数据的对数似然 $\log p(x)$。但 $\log p(x) = \log \int p(x|z) p(z) dz$ 在高维不可解,所以引入近似后验 $q(z|x)$(即 encoder),通过 Jensen 不等式得到 ELBO(Evidence Lower BOund,证据下界):

$$\log p(x) \;\geq\; \mathbb{E}_{q(z|x)}[\log p(x|z)] \;-\; D_{\mathrm{KL}}\!\big(q(z|x) \,\|\, p(z)\big)$$

最大化 ELBO 等价于:

  • 重构项:让 decoder 把 z 解码出的图像接近原图 x
  • 正则项:让 encoder 输出的潜在分布贴近先验 $\mathcal{N}(0, I)$

为了让从 $q(z|x)$ 采样的 z 可以反传梯度,引入 重参数化技巧 $z = \mu + \sigma \odot \epsilon$。

为什么开篇讲 VAE?因为 DDPM 本质上是 T 步 hierarchical VAE,它的训练损失就是 ELBO 的扩展。本章打下的每一块砖(潜变量、变分推断、ELBO、KL、重参数化)后面会逐砖复用。

一、为什么从 VAE 开始讲 Diffusion?

Dr. Raj 在 L2 开场就强调:理解 diffusion model 必须先扎实理解 VAE。原因有三:

  1. 数学骨架同源:DDPM 的训练损失 = T 步 hierarchical VAE 的 ELBO 拆解。如果你不懂 VAE 的 ELBO 怎么从 $\log p(x)$ 推出来,DDPM 的损失公式看起来就像天书。
  2. 思想同源:VAE 的"先压成 latent、再从 latent 还原"思想,在 diffusion 里变成"先一步步加噪进 latent,再一步步去噪还原"。Diffusion 是 VAE 的"时间展开版"。
  3. 第一性原理:先理解 vanilla VAE → 再理解 hierarchical VAE → 再理解 DDPM。每步都在前一步基础上加深度,跳过 VAE 直接学 DDPM 是危险的。
讲师引用 Karpathy:「whenever you learn something from scratch, you understand the gaps in your knowledge.」—— 本讲就是要把网上散乱的 VAE 资料揉成一条 0 到 1 的认知坡道。

二、问题设定:从 100 个学生的「hello」说起

Dr. Raj 用了一个非常具象的例子(L9 chunk #6-8):

假设你的班级有 100 个学生,每人在纸上写一个"hello"。每个人的笔迹各不相同——有人字迹斜向左,有人斜向右;有人写得整洁,有人潦草;有人写连笔(cursive),有人不写连笔。

现在有人要求你造一台机器:按一下按钮,机器吐出一张纸,上面写着"hello",且这个"hello"的风格必须像班里某位同学写的。

用形式化语言:

我们想构造一个采样器(机器),使其产生的样本服从你们班同学手写"hello"的真实概率分布。

这正是 Deep Generative Modeling 的核心目标——学习真实数据分布并从中采样。

🧭 直觉锚点:整章你都把 VAE 想象成"那台 hello 机器"。所有数学符号都是为了把这台机器形式化、可训练。

三、第一性原理思考:什么决定笔迹?

最直觉的思路:笔迹是被一组隐藏因素(hidden factors)决定的。Dr. Raj 在 L9 chunk #10 列举(原话节选):

  • 写字时施加的压力(pressure)
  • 字是否倾斜(slant)、向左还是向右
  • 字母宽度(wide / narrow)
  • 写字速度(speed)
  • 整洁程度(neatness)

这些因素在最终图像里看不到,但完全决定了字的形状。所以朴素的想法是:

  1. 找出所有影响笔迹的隐藏因素;
  2. 学一个映射 f(隐藏因素) → 笔迹图像;
  3. 给 f 喂任意一组隐藏因素,就得到一张笔迹。

讲师给这组隐藏因素起了个生动的名字:secret recipe(秘密配方)。

如果一个学生的 secret recipe 是「微微右倾、笔画细、中速、中等整洁度」,那他的 hello 长什么样几乎就被锁死了。

把这台机器画成硬件:想象一台老式机器,前面板有 5 个旋钮(每个旋钮对应一个 hidden factor),每个旋钮可以拨到 low/medium/high。你拨好 5 个旋钮,按下按钮,机器吐出一张纸——上面就是对应那组 recipe 的 hello。

这台接收 secret recipe、输出图像的机器,在 VAE 里有个正式名字:Decoder(解码器)。

四、Latent Variables(潜变量):把「secret recipe」形式化

讲师在 L9 chunk #14 正式给出术语:

secret recipe = latent variables,记作 z。

为什么叫 latent(潜在的)?因为它们是隐藏的、看不见的因素,但它们决定了观测到的数据。

关键约定:在本讲剩余部分,为了可视化方便,假设只用 2 个潜变量 $z_1, z_2$:

  • $z_1$ = slantness(倾斜度)
  • $z_2$ = neatness(整洁度)
⚠️ 真实场景中我们不知道 z 是什么。在手写 hello 例子里我们假装知道 z 的语义(slant + neat),是为了讲解直觉。真实问题里,神经网络会自己学出 z,而 z 的每个维度对应什么"语义因素"我们通常无法解释。这是神经网络的强项也是弱点。

4.1 为什么是「潜」变量?

讲师打了个比方:像潜水员潜入海底再浮回水面:

  • 你想生成水面上的东西(图像);
  • 但要先潜到水下找到产生它的"暗流"(潜变量);
  • 再带着这些信息浮回水面。

Generative modeling 本质上就是"探水深"——找到驱动表面变化的潜在因素。

4.2 二维 latent space 的可视化

把 $z_1$ 作为 x 轴、$z_2$ 作为 y 轴,得到一个二维平面:

  • 平面上每一个点对应一种特定的笔迹风格;
  • 横轴右边 → 字向右倾斜,左边 → 字向左倾斜;
  • 纵轴远离原点 → 字越潦草,靠近原点 → 字越整洁;
  • 100 个学生 → 平面上 100 个点;这 100 个点的分布就是 latent space 上的概率分布。

注意一个非常重要的观察:

一个 28×28 的 hello 图像有 784 个像素值。我们用 2 个数字($z_1, z_2$) 就把它"压缩"了。

这就是 VAE 的另一面:降维 / 表示学习。Latent space 通常远低于数据空间维度(784 → 2 是 392 倍压缩)。

💡 讲师埋下的伏笔:如果你画 100 个学生在 latent space 的分布,会发现它们大致聚在原点周围、形状像椭圆球。这暗示:真实笔迹的潜在因素很可能服从高斯分布 $\mathcal{N}(0, I)$(多数人中庸、极端少)。这个观察后来变成 VAE 的先验假设 $p(z) = \mathcal{N}(0, I)$,并通过 KL 项强制实现。

五、Decoder 内部:从 latent 到像素

我们已经画了 decoder 的"接口":输入 z(2 维),输出 image(784 维)。但机器里到底发生了什么?

5.1 像素级表示

数字图像 = 28×28 = 784 个像素,每个像素值 0(黑)或 1(白)。最朴素的 decoder:

输入 z,输出 784 个 0/1 值,确定地画出一张数字。

但这有个问题:同一个 z,每次都得到完全相同的图像。可现实中我们用 Stable Diffusion / Midjourney 时,同一个 prompt 会得到不同的图——输出是概率性的。

5.2 概率 decoder:每个像素输出一个分布

升级版思路:每个像素不输出一个值,而是输出一个概率分布(通常是 Gaussian 或 Bernoulli)。

  • 对每个像素 i,decoder 输出 $(\mu_i, \sigma_i)$;
  • 实际像素值从 $\mathcal{N}(\mu_i, \sigma_i^2)$ 采样得到;
  • 黑像素 → $\mu \approx 0$;白像素 → $\mu \approx 1$;$\sigma$ 给出"灰度抖动"的允许范围。

这样,同一个 z 可以采出有微小差别的多个图像,更逼近真实生成过程。

🛠️ 实践中的简化:讲师指出,在本讲后面实战代码中,会用确定性 decoder(只输出 mean、无 sigma)以简化实现。
• 确定性 decoder:784 个输出
• 概率 decoder:784 × 2 = 1568 个输出(每像素 mean + sigma)
这个简化在 vanilla MNIST VAE 里完全够用。但概率视角的形式化在 ELBO 推导里仍要保留。

5.3 Decoder = 神经网络

到这里 decoder 的本质浮现:它就是一个神经网络 $f_\theta(z) \to x$,$\theta$ 是网络参数。

  • 输入:低维 latent(比如 2 维);
  • 隐藏层:若干全连接层;
  • 输出:高维像素(784 维)。

形式化记号:

$$p_\theta(x|z)$$

意思是"给定潜变量 z,输出图像 x 的概率"。这就是 decoder 分布。

六、为什么需要 Encoder?发现 latent space 的「地图」

我们说"假设数字 5 落在 latent space 的某块区域"——但这个假设是怎么来的?

你怎么知道数字 5 应该被画在 latent space 的左上角而不是右下角?

如果你不知道这一点,要生成一个 5 就只能:

  • 暴力扫描整个 latent space 的每一个点;
  • 把每个点送进 decoder;
  • 看哪些点产出的图像像 5。

这是完全不可行的(intractable)—— 就像在大海里捞针。

Encoder 的作用:给定一张真实图像 x(比如一个 5),Encoder 直接告诉我们 latent space 中最有可能产生这张图像的区域。

不再"地毯式搜索",而是"按图索骥"。

6.1 Encoder = 反方向的神经网络

$$q_\phi(z|x)$$
  • 输入:图像 x(784 维);
  • 输出:latent z 的分布参数 $(\mu, \sigma^2)$;
  • $\phi$ 是 encoder 网络的参数。
📝 P 和 Q 的记号约定:
• $p_\theta(x|z)$ = decoder(参数 $\theta$):给定 latent,生成图像。
• $q_\phi(z|x)$ = encoder(参数 $\phi$):给定图像,推断 latent。
顺序看起来"反",是因为 P 是真实的生成方向(z → x),Q 是 encoder 学到的近似后验(x → z)。这两个字母是 VAE / 变分推断的标准记号。

6.2 为什么 Encoder 也输出「分布」而不是「点」?这就是 Variational 的来源

这是讲师强调的本讲最容易被滑过去的关键点。

普通 Autoencoder:encoder 给每张图一个点。

  • 5 → $(-3, 2)$
  • 1 → $(3, -3)$
  • 2 → $(\ldots)$

问题:latent space 上点和点之间是空的!如果你从 $(0, 0)$ 这种"中间地带"采样并送入 decoder,输出几乎都是垃圾噪声。Latent space 是离散的、不连续的,无法在它上面自由采样生成新样本。

Variational Autoencoder:encoder 给每张图一个区域(分布)。

  • 5 → $\mathcal{N}(\mu_5, \Sigma_5)$,是一片"5 最可能出现的区域";
  • 1 → $\mathcal{N}(\mu_1, \Sigma_1)$,是另一片区域;

这些区域会重叠,重叠处的点既可能解码成 5 也可能解码成 1(或它们的混合)。分布之间没有缝隙——latent space 变成连续的。

"Variational" 这个词的来源就是:encoder 输出变分的分布而非确定的点。

6.3 这步为什么如此关键?

  • 可生成新样本:从 latent space 任意一点采样都得到合理图像(不再是噪声);
  • 平滑插值:在 latent space 沿一条线走,图像平滑地从 5 渐变到 1;
  • 防止 overfit:encoder 不能把每张图死死映到一个点,必须学到"邻近图像应该有邻近 latent 区域"的语义结构。
普通 AE(点) VAE(分布) 5 1 2 点与点之间是空的 → 采样得垃圾 5 区域 1 区域 区域重叠 → 连续 latent space

七、概率视角:Latent Variable Model

现在切到概率论视角,为后面 ELBO 推导铺路。

7.1 基本设定

定义联合分布:

$$p(x, z) = p(x|z) \, p(z)$$

其中:

  • $p(z)$ = prior(先验):通常取 $p(z) = \mathcal{N}(0, I)$。这就是为什么 VAE 训完后的 latent space 是球形高斯。
  • $p(x|z)$ = likelihood(似然):给定 z 生成 x 的概率,由 decoder 网络实现。

想最大化的目标是数据的边际似然:

$$p(x) = \int p(x|z) \, p(z) \, dz$$

直觉:把所有可能的潜变量 z 都"穷举"一遍,把它们生成 x 的概率加权求和(权重是 z 自己出现的概率)。

7.2 优化目标

整个数据集 $D = \{x_1, \dots, x_N\}$,我们想:

$$\max_\theta \prod_{i=1}^N p_\theta(x_i) \;\Leftrightarrow\; \max_\theta \sum_{i=1}^N \log p_\theta(x_i)$$

这就是最大似然估计。讲师用一个反例锚定直觉:

如果你把训练集里某张真实图像送进 decoder,它告诉你 "p = 0.001",那 decoder 显然没训好——这张图明明是真实分布的样本,模型却觉得它不可能出现。

所以我们要 maximize $\log p(x)$。

八、为什么 log p(x) 难算?

$$\log p(x) = \log \int p(x|z) \, p(z) \, dz$$

这个积分在高维 z 上不可解。具体困难:

  1. 维度诅咒:如果 z 是 100 维,这是一个 100 维积分。即使数值积分,每个维度切 10 段就要 $10^{100}$ 个样本。
  2. 没有解析解:$p(x|z)$ 是个神经网络,没有 closed-form。
  3. Monte Carlo 采样方差爆炸:如果你想用 $z \sim p(z)$ 蒙特卡洛估计: $$p(x) \approx \frac{1}{K} \sum_{k=1}^K p(x|z_k), \quad z_k \sim p(z)$$ 会发现绝大多数从 $\mathcal{N}(0, I)$ 采的 z 完全不能解码出 x(它们对应的 $p(x|z) \approx 0$),有效样本极少,方差爆炸。
讲师原话:「we can't integrate over the entire universe.」

8.1 Bayes 公式能绕过吗?

理论上:

$$p(z|x) = \frac{p(x|z) \, p(z)}{p(x)}$$

但 $p(x)$ 在分母里!算 $p(z|x)$ 和算 $p(x)$ 一样难。所以"真后验" $p(z|x)$ 也算不出来。

这就是变分推断(Variational Inference)登场的原因。

九、变分推断:用近似分布替代真后验

9.1 核心思想

既然真后验 $p(z|x)$ 算不出,就用一个可参数化、容易采样的分布 $q_\phi(z|x)$ 去近似它。通常令:

$$q_\phi(z|x) = \mathcal{N}\!\big(z; \mu_\phi(x), \sigma^2_\phi(x)\big)$$

其中 $\mu_\phi(x), \sigma_\phi(x)$ 是 encoder 神经网络的输出。Encoder 的本质就是变分近似!

9.2 神奇的代数变换

下面这一步是变分推断整个理论的命门,请反复读三遍:

$$\log p(x) = \underbrace{\mathrm{ELBO}(x)}_{\text{可计算}} + \underbrace{D_{\mathrm{KL}}\!\big(q_\phi(z|x) \,\|\, p(z|x)\big)}_{\geq 0\text{ 但不可计算}}$$

意思:$\log p(x)$ 等于 ELBO + 一个非负的 KL 项。所以:

$$\log p(x) \geq \mathrm{ELBO}(x)$$

ELBO 就是 $\log p(x)$ 的下界——这就是 Evidence Lower BOund 的由来($\log p(x)$ 被称为 "evidence")。

关键洞察:

  • 我们不能直接最大化 $\log p(x)$(不可算);
  • 但可以最大化 ELBO(可算);
  • 最大化 ELBO 同时做了两件好事:
    1. 把 $\log p(x)$ 的下界顶高 → 间接最大化 $\log p(x)$;
    2. 让 $D_{\mathrm{KL}}(q \,\|\, p_\text{true})$ 变小 → encoder 越来越接近真后验。
讲师用了一个红绿线的图示:「想象绿色曲线是 $\log p(x)$(不可达)。红色曲线是 ELBO,永远在绿色下面。只要把红色顶高,绿色至少不会比它低。」

十、ELBO 完整推导(一步一行讲清楚)

下面是本讲最重要的数学。每一步都给"为什么"。

步骤 1:写出 log p(x) $$\log p(x) = \log \int p(x|z) \, p(z) \, dz$$ Why:直接用 $p(x)$ 的定义(边际化)。
步骤 2:乘 1(importance sampling 技巧) $$= \log \int p(x|z) \, p(z) \cdot \frac{q_\phi(z|x)}{q_\phi(z|x)} \, dz \;=\; \log \int q_\phi(z|x) \cdot \frac{p(x|z) \, p(z)}{q_\phi(z|x)} \, dz$$ Why:积分里乘 $q/q = 1$ 不改变值,但可以把整个积分写成"q 上的期望"形式。 $$= \log \mathbb{E}_{q_\phi(z|x)}\!\left[\frac{p(x|z) \, p(z)}{q_\phi(z|x)}\right]$$ 这就把"在 z 上的积分"变成"从 q 中采样的期望"——而 q 是我们能采样的(高斯)。
步骤 3:用 Jensen 不等式 对凹函数 $\log$,有 $\log \mathbb{E}[Y] \geq \mathbb{E}[\log Y]$: $$\geq \mathbb{E}_{q_\phi(z|x)}\!\left[\log \frac{p(x|z) \, p(z)}{q_\phi(z|x)}\right]$$ Why:log 凹,所以"先期望再 log" ≥ "先 log 再期望"。这一步就把 log 移进了积分里,让后面可以拆开。
代价:从等号变成了不等号——我们丢失了一些信息。这个"丢失"的部分就是后面的 $D_{\mathrm{KL}}(q \| p_\text{true})$。
步骤 4:把 log 拆开 $$= \mathbb{E}_{q_\phi(z|x)}\!\left[\log p(x|z) + \log p(z) - \log q_\phi(z|x)\right]$$ Why:$\log(abc) = \log a + \log b + \log c$。常规对数运算。
步骤 5:重新组合 $$= \mathbb{E}_{q_\phi(z|x)}[\log p(x|z)] + \mathbb{E}_{q_\phi(z|x)}\!\left[\log \frac{p(z)}{q_\phi(z|x)}\right]$$ $$= \mathbb{E}_{q_\phi(z|x)}[\log p(x|z)] - \mathbb{E}_{q_\phi(z|x)}\!\left[\log \frac{q_\phi(z|x)}{p(z)}\right]$$ Why:把和先验有关的两项合并成一个 log 比值。
步骤 6:识别 KL 散度 $$\boxed{\log p(x) \geq \mathbb{E}_{q_\phi(z|x)}[\log p(x|z)] \;-\; D_{\mathrm{KL}}\!\big(q_\phi(z|x) \,\|\, p(z)\big)}$$ Why:第二项正好是 KL 散度的定义:$D_{\mathrm{KL}}(q \| p) = \mathbb{E}_q[\log(q/p)]$。注意这里的 KL 是 q 对 prior p(z) 的,不是对真后验 p(z|x) 的——所以它可以算!

这就是 ELBO:

$$\mathrm{ELBO} = \underbrace{\mathbb{E}_{q_\phi(z|x)}[\log p(x|z)]}_{\text{重构项}} \;-\; \underbrace{D_{\mathrm{KL}}\!\big(q_\phi(z|x) \,\|\, p(z)\big)}_{\text{正则项}}$$

十一、ELBO 两项的含义(要烂熟于心)

11.1 ① 重构项(Reconstruction)

"把 x 经过 encoder 得到 z,再把 z 经过 decoder 还原回 x',要求 $x' \approx x$。"
  • 从 $q_\phi(z|x)$ 采样一个 z(encoder 给出的 latent);
  • 算 $\log p_\theta(x|z)$(decoder 觉得"原图 x 在这个 z 下出现的可能性");
  • 我们希望这个值越大越好——也就是 decoder 能高质量地重建原图。

实践中,对图像,这通常实现为像素级损失:

  • 图像像素是连续值 → 用高斯似然 → 等价于 MSE 损失;
  • 图像像素是 0/1 二值 → 用 Bernoulli 似然 → 等价于 二值交叉熵 BCE(讲师在 MNIST 实例中使用的就是 BCE)。

11.2 ② 正则项(Regularization)

"encoder 给出的潜变量分布 $q_\phi(z|x)$,要尽量靠近先验 $p(z) = \mathcal{N}(0, I)$。"
  • 这一项衡量 encoder 的输出分布和球形高斯的"距离";
  • 如果只有重构项,encoder 会作弊:把每张图映到一个非常窄的 delta 分布($\sigma \to 0$),然后 decoder 死记硬背。Latent space 又变成离散点,回到普通 autoencoder;
  • KL 项强迫 encoder 输出宽厚一些的分布、且分布的中心要靠近原点 → 不同图像的分布会重叠 → latent space 变成连续的;
  • 同时,因为整个 latent space 都接近 $\mathcal{N}(0, I)$,生成新样本时直接从 $\mathcal{N}(0, I)$ 采 z 再 decode 就行——这是 VAE 能"无中生有"的原因。

11.3 视觉化的「地球-火星」类比

讲师在 L8 chunk #11 用了一个非常生动的比喻:

假设你想把一只猫从地球传送到火星。把每个原子打包发送是不可能的(数据量太大)。所以你把猫压缩成一份"秘方" z(潜变量),传到火星,然后在火星 decode 还原。

• 重构目标:火星上 decode 出来的猫看起来要像地球上那只。
• 正则目标:传送的秘方必须用"标准语言"——也就是 $\mathcal{N}(0, I)$——书写。否则火星上的人看不懂你的秘方。

十二、Reparameterization Trick(重参数化技巧)

到这里我们有了 loss(−ELBO),下一步是梯度反传。但卡在一个地方。

12.1 问题:采样阻断梯度

ELBO 里有一步是 "从 $q_\phi(z|x)$ 采样 z",然后把 z 送进 decoder。

  • $q_\phi$ 的 $\mu, \sigma$ 由 encoder 网络(参数 $\phi$)产生;
  • 我们想算 $\partial \mathrm{ELBO} / \partial \phi$;
  • 但"采样"操作不可导——它是一个随机算子,没有梯度从 z 流回到 $\mu, \sigma$。

12.2 解决方案:把随机性「挤」出来

把 z 改写为:

$$z = \mu + \sigma \odot \epsilon, \quad \epsilon \sim \mathcal{N}(0, I)$$

($\odot$ 是逐元素乘法)

精妙之处:

  • 现在 z 是 $\mu, \sigma$ 的确定性函数(一旦 $\epsilon$ 给定);
  • 随机性全部被装进了和参数无关的 $\epsilon$;
  • $\partial z / \partial \mu = 1$,$\partial z / \partial \sigma = \epsilon$,梯度可以畅通无阻地流回 encoder。

12.3 直觉

之前是"从 $\mathcal{N}(\mu, \sigma^2)$ 直接抽一个 z"——这里的"抽"切断了梯度。
现在是"先从标准高斯抽 $\epsilon$,再用 $\mu + \sigma \cdot \epsilon$ 拼出 z"——拼装是可微的,抽 $\epsilon$ 和参数无关。

12.4 在代码里长什么样

mu, log_var = encoder(x)        # encoder 输出 μ 和 log(σ²)
std = torch.exp(0.5 * log_var)  # σ = exp(0.5 * log σ²)
eps = torch.randn_like(std)     # ε ~ N(0, I)
z = mu + std * eps              # 重参数化采样
🧰 为什么 encoder 输出 log(σ²) 而不是 σ?
• $\sigma$ 必须 > 0,但神经网络输出可正可负;
• 让网络输出 $\log(\sigma^2) \in \mathbb{R}$(无约束),再 exp 出 $\sigma$,保证正值且数值稳定;
• 这是讲师在视频末尾埋的一个工程细节,看到代码里 log_var 就是这个原因。

12.5 这个 trick 在 DDPM 里也用

后续 DDPM 里每一步去噪的随机采样都依赖重参数化技巧。这个 trick 不是 VAE 独有的——它是所有"含随机变量的可微生成模型"的通用工具。详见 概念页:重参数化技巧。

十三、VAE 的损失函数(实战)

把 ELBO 取负号变成最小化目标:

$$\boxed{L_{\text{VAE}} = \underbrace{-\mathbb{E}_{q_\phi(z|x)}[\log p_\theta(x|z)]}_{\text{重构损失}} \;+\; \underbrace{D_{\mathrm{KL}}\!\big(q_\phi(z|x) \,\|\, p(z)\big)}_{\text{KL 正则}}}$$

13.1 KL 项的解析解(Gaussian-Gaussian)

当 $q_\phi(z|x) = \mathcal{N}(\mu, \sigma^2)$ 且 $p(z) = \mathcal{N}(0, I)$,KL 有 closed-form:

$$D_{\mathrm{KL}}\!\big(\mathcal{N}(\mu, \sigma^2) \,\|\, \mathcal{N}(0, 1)\big) = \frac{1}{2}\sum_{i=1}^d \big(\mu_i^2 + \sigma_i^2 - \log \sigma_i^2 - 1\big)$$

其中 d 是 latent 维度。逐项理解:

  • $\mu_i^2$:让均值靠近 0(偏离 0 就罚);
  • $\sigma_i^2$:$\sigma$ 太大就罚(防止分布过宽);
  • $-\log \sigma_i^2$:$\sigma$ 太小就罚(防止分布塌缩成点);
  • $-1$:常数项,保证 KL 在 $\mu=0, \sigma=1$ 时恰好为 0。

13.2 重构损失的两种实现

  • MNIST(二值像素):BCE
    recon_loss = F.binary_cross_entropy(x_recon, x, reduction='sum')
  • 自然图像(连续像素):MSE
    recon_loss = F.mse_loss(x_recon, x, reduction='sum')
⚠️ 为什么是 sum 而不是 mean:KL 项是对每个样本求一个标量,重构项也要"按样本对所有像素求和"才能保持两项量纲匹配。否则会出现 KL 比 reconstruction 小很多个量级、被忽略的现象。

这是 VAE 训练的常见坑——KL 项被淹没 → 退化成普通 autoencoder。修法是要么 sum,要么对 KL 加权(β-VAE)。

十四、PyTorch 实现骨架

下面是一个最小可跑的 MNIST VAE,展示所有概念的实际实现:

import torch
import torch.nn as nn
import torch.nn.functional as F

class VAE(nn.Module):
    def __init__(self, x_dim=784, h_dim=400, z_dim=2):
        super().__init__()
        # ===== Encoder: 784 -> 400 -> (2 mu, 2 log_var) =====
        self.fc1 = nn.Linear(x_dim, h_dim)
        self.fc_mu = nn.Linear(h_dim, z_dim)
        self.fc_log_var = nn.Linear(h_dim, z_dim)
        # ===== Decoder: 2 -> 400 -> 784 =====
        self.fc2 = nn.Linear(z_dim, h_dim)
        self.fc3 = nn.Linear(h_dim, x_dim)

    def encode(self, x):
        h = F.relu(self.fc1(x))
        return self.fc_mu(h), self.fc_log_var(h)

    def reparameterize(self, mu, log_var):
        # 重参数化技巧:z = mu + sigma * epsilon
        std = torch.exp(0.5 * log_var)
        eps = torch.randn_like(std)
        return mu + std * eps

    def decode(self, z):
        h = F.relu(self.fc2(z))
        return torch.sigmoid(self.fc3(h))  # sigmoid 把输出压到 [0, 1]

    def forward(self, x):
        mu, log_var = self.encode(x.view(-1, 784))
        z = self.reparameterize(mu, log_var)
        return self.decode(z), mu, log_var


def vae_loss(x_recon, x, mu, log_var):
    recon = F.binary_cross_entropy(x_recon, x.view(-1, 784), reduction='sum')
    # KL = -0.5 * sum(1 + log_var - mu^2 - exp(log_var))
    kl = -0.5 * torch.sum(1 + log_var - mu.pow(2) - log_var.exp())
    return recon + kl
🟡 教材外补充(讲师本讲没展开):
  • β-VAE:把 loss 改成 $\text{recon} + \beta \cdot \text{KL}$,$\beta > 1$ 强迫 disentangled latent。Higgins et al. 2017 的工作。
  • Latent Diffusion(Stable Diffusion)= 冻结 VAE 作为 latent space 提供者 + 在 latent 上做 diffusion。详见 第 18 章。
  • VAE → DDPM 的桥梁:DDPM 把 VAE 的"1 步 latent"扩成"T 步 latent",每步都是 Gaussian。下一章 ELBO 把这一推广讲清。
📺 Vizuara《Principles of Diffusion Models》Lecture 2(21:44 处)—— 二维 latent 动画

本章要记住的(讲师亲口给的核心)

  1. VAE = "造一台能采样的机器"(hello 机器),按一下按钮吐出一个新样本,分布要像训练数据。
  2. "Secret recipe" = latent variable $z$。找隐藏因素 → 建立 z → x 映射 → 采样问题解决一半。
  3. 普通 AE 给"点",VAE 给"分布"——这一改动让 latent space 连续,能从中自由采样。
  4. $\log p(x)$ 不可算 → ELBO 是下界(讲师"地球-火星传送猫")。Jensen 不等式 + KL 拆分给出 6 步推导。
  5. ELBO = 重构 − KL。重构让 decoder 像原图;KL 让 encoder 输出近 $\mathcal{N}(0, I)$。
  6. 重参数化技巧 $z = \mu + \sigma \epsilon$ 让随机采样可导——VAE 训练的命门,DDPM 沿用。
  7. 工程细节:网络输出 $\log \sigma^2$(数值稳定);loss 用 sum 不用 mean(KL 量纲匹配);MNIST 用 BCE、自然图用 MSE。