VAE:把数据压成「潜空间」再生成
第一个真正能生成图片的概率模型,也是后面 latent diffusion 的祖宗。
2. VAE:把数据压成「潜空间」再生成
主源:Vizuara《Principles of Diffusion Models》Lecture 2(讲师 Dr. Raj Dandekar);副源:CMU 10799 Lecture 1。
📌 TL;DR
VAE = Autoencoder + 概率视角 + 变分推断。它把"压缩-重建"的瓶颈从一个点升级成一个分布 $\mathcal{N}(\mu, \sigma^2)$,目标是最大化数据的对数似然 $\log p(x)$。但 $\log p(x) = \log \int p(x|z) p(z) dz$ 在高维不可解,所以引入近似后验 $q(z|x)$(即 encoder),通过 Jensen 不等式得到 ELBO(Evidence Lower BOund,证据下界):
$$\log p(x) \;\geq\; \mathbb{E}_{q(z|x)}[\log p(x|z)] \;-\; D_{\mathrm{KL}}\!\big(q(z|x) \,\|\, p(z)\big)$$最大化 ELBO 等价于:
- 重构项:让 decoder 把 z 解码出的图像接近原图 x
- 正则项:让 encoder 输出的潜在分布贴近先验 $\mathcal{N}(0, I)$
为了让从 $q(z|x)$ 采样的 z 可以反传梯度,引入 重参数化技巧 $z = \mu + \sigma \odot \epsilon$。
为什么开篇讲 VAE?因为 DDPM 本质上是 T 步 hierarchical VAE,它的训练损失就是 ELBO 的扩展。本章打下的每一块砖(潜变量、变分推断、ELBO、KL、重参数化)后面会逐砖复用。
一、为什么从 VAE 开始讲 Diffusion?
Dr. Raj 在 L2 开场就强调:理解 diffusion model 必须先扎实理解 VAE。原因有三:
- 数学骨架同源:DDPM 的训练损失 = T 步 hierarchical VAE 的 ELBO 拆解。如果你不懂 VAE 的 ELBO 怎么从 $\log p(x)$ 推出来,DDPM 的损失公式看起来就像天书。
- 思想同源:VAE 的"先压成 latent、再从 latent 还原"思想,在 diffusion 里变成"先一步步加噪进 latent,再一步步去噪还原"。Diffusion 是 VAE 的"时间展开版"。
- 第一性原理:先理解 vanilla VAE → 再理解 hierarchical VAE → 再理解 DDPM。每步都在前一步基础上加深度,跳过 VAE 直接学 DDPM 是危险的。
二、问题设定:从 100 个学生的「hello」说起
Dr. Raj 用了一个非常具象的例子(L9 chunk #6-8):
现在有人要求你造一台机器:按一下按钮,机器吐出一张纸,上面写着"hello",且这个"hello"的风格必须像班里某位同学写的。
用形式化语言:
我们想构造一个采样器(机器),使其产生的样本服从你们班同学手写"hello"的真实概率分布。
这正是 Deep Generative Modeling 的核心目标——学习真实数据分布并从中采样。
三、第一性原理思考:什么决定笔迹?
最直觉的思路:笔迹是被一组隐藏因素(hidden factors)决定的。Dr. Raj 在 L9 chunk #10 列举(原话节选):
- 写字时施加的压力(pressure)
- 字是否倾斜(slant)、向左还是向右
- 字母宽度(wide / narrow)
- 写字速度(speed)
- 整洁程度(neatness)
这些因素在最终图像里看不到,但完全决定了字的形状。所以朴素的想法是:
- 找出所有影响笔迹的隐藏因素;
- 学一个映射
f(隐藏因素) → 笔迹图像; - 给 f 喂任意一组隐藏因素,就得到一张笔迹。
讲师给这组隐藏因素起了个生动的名字:secret recipe(秘密配方)。
把这台机器画成硬件:想象一台老式机器,前面板有 5 个旋钮(每个旋钮对应一个 hidden factor),每个旋钮可以拨到 low/medium/high。你拨好 5 个旋钮,按下按钮,机器吐出一张纸——上面就是对应那组 recipe 的 hello。
这台接收 secret recipe、输出图像的机器,在 VAE 里有个正式名字:Decoder(解码器)。
四、Latent Variables(潜变量):把「secret recipe」形式化
讲师在 L9 chunk #14 正式给出术语:
secret recipe = latent variables,记作 z。
为什么叫 latent(潜在的)?因为它们是隐藏的、看不见的因素,但它们决定了观测到的数据。
关键约定:在本讲剩余部分,为了可视化方便,假设只用 2 个潜变量 $z_1, z_2$:
- $z_1$ = slantness(倾斜度)
- $z_2$ = neatness(整洁度)
4.1 为什么是「潜」变量?
讲师打了个比方:像潜水员潜入海底再浮回水面:
- 你想生成水面上的东西(图像);
- 但要先潜到水下找到产生它的"暗流"(潜变量);
- 再带着这些信息浮回水面。
Generative modeling 本质上就是"探水深"——找到驱动表面变化的潜在因素。
4.2 二维 latent space 的可视化
把 $z_1$ 作为 x 轴、$z_2$ 作为 y 轴,得到一个二维平面:
- 平面上每一个点对应一种特定的笔迹风格;
- 横轴右边 → 字向右倾斜,左边 → 字向左倾斜;
- 纵轴远离原点 → 字越潦草,靠近原点 → 字越整洁;
- 100 个学生 → 平面上 100 个点;这 100 个点的分布就是 latent space 上的概率分布。
注意一个非常重要的观察:
一个 28×28 的 hello 图像有 784 个像素值。我们用 2 个数字($z_1, z_2$) 就把它"压缩"了。
这就是 VAE 的另一面:降维 / 表示学习。Latent space 通常远低于数据空间维度(784 → 2 是 392 倍压缩)。
五、Decoder 内部:从 latent 到像素
我们已经画了 decoder 的"接口":输入 z(2 维),输出 image(784 维)。但机器里到底发生了什么?
5.1 像素级表示
数字图像 = 28×28 = 784 个像素,每个像素值 0(黑)或 1(白)。最朴素的 decoder:
输入 z,输出 784 个 0/1 值,确定地画出一张数字。
但这有个问题:同一个 z,每次都得到完全相同的图像。可现实中我们用 Stable Diffusion / Midjourney 时,同一个 prompt 会得到不同的图——输出是概率性的。
5.2 概率 decoder:每个像素输出一个分布
升级版思路:每个像素不输出一个值,而是输出一个概率分布(通常是 Gaussian 或 Bernoulli)。
- 对每个像素 i,decoder 输出 $(\mu_i, \sigma_i)$;
- 实际像素值从 $\mathcal{N}(\mu_i, \sigma_i^2)$ 采样得到;
- 黑像素 → $\mu \approx 0$;白像素 → $\mu \approx 1$;$\sigma$ 给出"灰度抖动"的允许范围。
这样,同一个 z 可以采出有微小差别的多个图像,更逼近真实生成过程。
• 确定性 decoder:784 个输出
• 概率 decoder:784 × 2 = 1568 个输出(每像素 mean + sigma)
这个简化在 vanilla MNIST VAE 里完全够用。但概率视角的形式化在 ELBO 推导里仍要保留。
5.3 Decoder = 神经网络
到这里 decoder 的本质浮现:它就是一个神经网络 $f_\theta(z) \to x$,$\theta$ 是网络参数。
- 输入:低维 latent(比如 2 维);
- 隐藏层:若干全连接层;
- 输出:高维像素(784 维)。
形式化记号:
$$p_\theta(x|z)$$意思是"给定潜变量 z,输出图像 x 的概率"。这就是 decoder 分布。
六、为什么需要 Encoder?发现 latent space 的「地图」
我们说"假设数字 5 落在 latent space 的某块区域"——但这个假设是怎么来的?
你怎么知道数字 5 应该被画在 latent space 的左上角而不是右下角?
如果你不知道这一点,要生成一个 5 就只能:
- 暴力扫描整个 latent space 的每一个点;
- 把每个点送进 decoder;
- 看哪些点产出的图像像 5。
这是完全不可行的(intractable)—— 就像在大海里捞针。
Encoder 的作用:给定一张真实图像 x(比如一个 5),Encoder 直接告诉我们 latent space 中最有可能产生这张图像的区域。
不再"地毯式搜索",而是"按图索骥"。
6.1 Encoder = 反方向的神经网络
$$q_\phi(z|x)$$- 输入:图像 x(784 维);
- 输出:latent z 的分布参数 $(\mu, \sigma^2)$;
- $\phi$ 是 encoder 网络的参数。
• $p_\theta(x|z)$ = decoder(参数 $\theta$):给定 latent,生成图像。
• $q_\phi(z|x)$ = encoder(参数 $\phi$):给定图像,推断 latent。
顺序看起来"反",是因为 P 是真实的生成方向(z → x),Q 是 encoder 学到的近似后验(x → z)。这两个字母是 VAE / 变分推断的标准记号。
6.2 为什么 Encoder 也输出「分布」而不是「点」?这就是 Variational 的来源
这是讲师强调的本讲最容易被滑过去的关键点。
普通 Autoencoder:encoder 给每张图一个点。
- 5 → $(-3, 2)$
- 1 → $(3, -3)$
- 2 → $(\ldots)$
问题:latent space 上点和点之间是空的!如果你从 $(0, 0)$ 这种"中间地带"采样并送入 decoder,输出几乎都是垃圾噪声。Latent space 是离散的、不连续的,无法在它上面自由采样生成新样本。
Variational Autoencoder:encoder 给每张图一个区域(分布)。
- 5 → $\mathcal{N}(\mu_5, \Sigma_5)$,是一片"5 最可能出现的区域";
- 1 → $\mathcal{N}(\mu_1, \Sigma_1)$,是另一片区域;
这些区域会重叠,重叠处的点既可能解码成 5 也可能解码成 1(或它们的混合)。分布之间没有缝隙——latent space 变成连续的。
"Variational" 这个词的来源就是:encoder 输出变分的分布而非确定的点。
6.3 这步为什么如此关键?
- 可生成新样本:从 latent space 任意一点采样都得到合理图像(不再是噪声);
- 平滑插值:在 latent space 沿一条线走,图像平滑地从 5 渐变到 1;
- 防止 overfit:encoder 不能把每张图死死映到一个点,必须学到"邻近图像应该有邻近 latent 区域"的语义结构。
七、概率视角:Latent Variable Model
现在切到概率论视角,为后面 ELBO 推导铺路。
7.1 基本设定
定义联合分布:
$$p(x, z) = p(x|z) \, p(z)$$其中:
- $p(z)$ = prior(先验):通常取 $p(z) = \mathcal{N}(0, I)$。这就是为什么 VAE 训完后的 latent space 是球形高斯。
- $p(x|z)$ = likelihood(似然):给定 z 生成 x 的概率,由 decoder 网络实现。
想最大化的目标是数据的边际似然:
$$p(x) = \int p(x|z) \, p(z) \, dz$$直觉:把所有可能的潜变量 z 都"穷举"一遍,把它们生成 x 的概率加权求和(权重是 z 自己出现的概率)。
7.2 优化目标
整个数据集 $D = \{x_1, \dots, x_N\}$,我们想:
$$\max_\theta \prod_{i=1}^N p_\theta(x_i) \;\Leftrightarrow\; \max_\theta \sum_{i=1}^N \log p_\theta(x_i)$$这就是最大似然估计。讲师用一个反例锚定直觉:
所以我们要 maximize $\log p(x)$。
八、为什么 log p(x) 难算?
$$\log p(x) = \log \int p(x|z) \, p(z) \, dz$$这个积分在高维 z 上不可解。具体困难:
- 维度诅咒:如果 z 是 100 维,这是一个 100 维积分。即使数值积分,每个维度切 10 段就要 $10^{100}$ 个样本。
- 没有解析解:$p(x|z)$ 是个神经网络,没有 closed-form。
- Monte Carlo 采样方差爆炸:如果你想用 $z \sim p(z)$ 蒙特卡洛估计: $$p(x) \approx \frac{1}{K} \sum_{k=1}^K p(x|z_k), \quad z_k \sim p(z)$$ 会发现绝大多数从 $\mathcal{N}(0, I)$ 采的 z 完全不能解码出 x(它们对应的 $p(x|z) \approx 0$),有效样本极少,方差爆炸。
8.1 Bayes 公式能绕过吗?
理论上:
$$p(z|x) = \frac{p(x|z) \, p(z)}{p(x)}$$但 $p(x)$ 在分母里!算 $p(z|x)$ 和算 $p(x)$ 一样难。所以"真后验" $p(z|x)$ 也算不出来。
这就是变分推断(Variational Inference)登场的原因。
九、变分推断:用近似分布替代真后验
9.1 核心思想
既然真后验 $p(z|x)$ 算不出,就用一个可参数化、容易采样的分布 $q_\phi(z|x)$ 去近似它。通常令:
$$q_\phi(z|x) = \mathcal{N}\!\big(z; \mu_\phi(x), \sigma^2_\phi(x)\big)$$其中 $\mu_\phi(x), \sigma_\phi(x)$ 是 encoder 神经网络的输出。Encoder 的本质就是变分近似!
9.2 神奇的代数变换
下面这一步是变分推断整个理论的命门,请反复读三遍:
$$\log p(x) = \underbrace{\mathrm{ELBO}(x)}_{\text{可计算}} + \underbrace{D_{\mathrm{KL}}\!\big(q_\phi(z|x) \,\|\, p(z|x)\big)}_{\geq 0\text{ 但不可计算}}$$意思:$\log p(x)$ 等于 ELBO + 一个非负的 KL 项。所以:
$$\log p(x) \geq \mathrm{ELBO}(x)$$ELBO 就是 $\log p(x)$ 的下界——这就是 Evidence Lower BOund 的由来($\log p(x)$ 被称为 "evidence")。
关键洞察:
- 我们不能直接最大化 $\log p(x)$(不可算);
- 但可以最大化 ELBO(可算);
- 最大化 ELBO 同时做了两件好事:
- 把 $\log p(x)$ 的下界顶高 → 间接最大化 $\log p(x)$;
- 让 $D_{\mathrm{KL}}(q \,\|\, p_\text{true})$ 变小 → encoder 越来越接近真后验。
十、ELBO 完整推导(一步一行讲清楚)
下面是本讲最重要的数学。每一步都给"为什么"。
代价:从等号变成了不等号——我们丢失了一些信息。这个"丢失"的部分就是后面的 $D_{\mathrm{KL}}(q \| p_\text{true})$。
这就是 ELBO:
$$\mathrm{ELBO} = \underbrace{\mathbb{E}_{q_\phi(z|x)}[\log p(x|z)]}_{\text{重构项}} \;-\; \underbrace{D_{\mathrm{KL}}\!\big(q_\phi(z|x) \,\|\, p(z)\big)}_{\text{正则项}}$$十一、ELBO 两项的含义(要烂熟于心)
11.1 ① 重构项(Reconstruction)
"把 x 经过 encoder 得到 z,再把 z 经过 decoder 还原回 x',要求 $x' \approx x$。"
- 从 $q_\phi(z|x)$ 采样一个 z(encoder 给出的 latent);
- 算 $\log p_\theta(x|z)$(decoder 觉得"原图 x 在这个 z 下出现的可能性");
- 我们希望这个值越大越好——也就是 decoder 能高质量地重建原图。
实践中,对图像,这通常实现为像素级损失:
- 图像像素是连续值 → 用高斯似然 → 等价于 MSE 损失;
- 图像像素是 0/1 二值 → 用 Bernoulli 似然 → 等价于 二值交叉熵 BCE(讲师在 MNIST 实例中使用的就是 BCE)。
11.2 ② 正则项(Regularization)
"encoder 给出的潜变量分布 $q_\phi(z|x)$,要尽量靠近先验 $p(z) = \mathcal{N}(0, I)$。"
- 这一项衡量 encoder 的输出分布和球形高斯的"距离";
- 如果只有重构项,encoder 会作弊:把每张图映到一个非常窄的 delta 分布($\sigma \to 0$),然后 decoder 死记硬背。Latent space 又变成离散点,回到普通 autoencoder;
- KL 项强迫 encoder 输出宽厚一些的分布、且分布的中心要靠近原点 → 不同图像的分布会重叠 → latent space 变成连续的;
- 同时,因为整个 latent space 都接近 $\mathcal{N}(0, I)$,生成新样本时直接从 $\mathcal{N}(0, I)$ 采 z 再 decode 就行——这是 VAE 能"无中生有"的原因。
11.3 视觉化的「地球-火星」类比
讲师在 L8 chunk #11 用了一个非常生动的比喻:
• 重构目标:火星上 decode 出来的猫看起来要像地球上那只。
• 正则目标:传送的秘方必须用"标准语言"——也就是 $\mathcal{N}(0, I)$——书写。否则火星上的人看不懂你的秘方。
十二、Reparameterization Trick(重参数化技巧)
到这里我们有了 loss(−ELBO),下一步是梯度反传。但卡在一个地方。
12.1 问题:采样阻断梯度
ELBO 里有一步是 "从 $q_\phi(z|x)$ 采样 z",然后把 z 送进 decoder。
- $q_\phi$ 的 $\mu, \sigma$ 由 encoder 网络(参数 $\phi$)产生;
- 我们想算 $\partial \mathrm{ELBO} / \partial \phi$;
- 但"采样"操作不可导——它是一个随机算子,没有梯度从 z 流回到 $\mu, \sigma$。
12.2 解决方案:把随机性「挤」出来
把 z 改写为:
$$z = \mu + \sigma \odot \epsilon, \quad \epsilon \sim \mathcal{N}(0, I)$$($\odot$ 是逐元素乘法)
精妙之处:
- 现在 z 是 $\mu, \sigma$ 的确定性函数(一旦 $\epsilon$ 给定);
- 随机性全部被装进了和参数无关的 $\epsilon$;
- $\partial z / \partial \mu = 1$,$\partial z / \partial \sigma = \epsilon$,梯度可以畅通无阻地流回 encoder。
12.3 直觉
之前是"从 $\mathcal{N}(\mu, \sigma^2)$ 直接抽一个 z"——这里的"抽"切断了梯度。
现在是"先从标准高斯抽 $\epsilon$,再用 $\mu + \sigma \cdot \epsilon$ 拼出 z"——拼装是可微的,抽 $\epsilon$ 和参数无关。
12.4 在代码里长什么样
mu, log_var = encoder(x) # encoder 输出 μ 和 log(σ²)
std = torch.exp(0.5 * log_var) # σ = exp(0.5 * log σ²)
eps = torch.randn_like(std) # ε ~ N(0, I)
z = mu + std * eps # 重参数化采样
• $\sigma$ 必须 > 0,但神经网络输出可正可负;
• 让网络输出 $\log(\sigma^2) \in \mathbb{R}$(无约束),再 exp 出 $\sigma$,保证正值且数值稳定;
• 这是讲师在视频末尾埋的一个工程细节,看到代码里
log_var 就是这个原因。
12.5 这个 trick 在 DDPM 里也用
后续 DDPM 里每一步去噪的随机采样都依赖重参数化技巧。这个 trick 不是 VAE 独有的——它是所有"含随机变量的可微生成模型"的通用工具。详见 概念页:重参数化技巧。
十三、VAE 的损失函数(实战)
把 ELBO 取负号变成最小化目标:
$$\boxed{L_{\text{VAE}} = \underbrace{-\mathbb{E}_{q_\phi(z|x)}[\log p_\theta(x|z)]}_{\text{重构损失}} \;+\; \underbrace{D_{\mathrm{KL}}\!\big(q_\phi(z|x) \,\|\, p(z)\big)}_{\text{KL 正则}}}$$13.1 KL 项的解析解(Gaussian-Gaussian)
当 $q_\phi(z|x) = \mathcal{N}(\mu, \sigma^2)$ 且 $p(z) = \mathcal{N}(0, I)$,KL 有 closed-form:
$$D_{\mathrm{KL}}\!\big(\mathcal{N}(\mu, \sigma^2) \,\|\, \mathcal{N}(0, 1)\big) = \frac{1}{2}\sum_{i=1}^d \big(\mu_i^2 + \sigma_i^2 - \log \sigma_i^2 - 1\big)$$其中 d 是 latent 维度。逐项理解:
- $\mu_i^2$:让均值靠近 0(偏离 0 就罚);
- $\sigma_i^2$:$\sigma$ 太大就罚(防止分布过宽);
- $-\log \sigma_i^2$:$\sigma$ 太小就罚(防止分布塌缩成点);
- $-1$:常数项,保证 KL 在 $\mu=0, \sigma=1$ 时恰好为 0。
13.2 重构损失的两种实现
- MNIST(二值像素):BCE
recon_loss = F.binary_cross_entropy(x_recon, x, reduction='sum') - 自然图像(连续像素):MSE
recon_loss = F.mse_loss(x_recon, x, reduction='sum')
这是 VAE 训练的常见坑——KL 项被淹没 → 退化成普通 autoencoder。修法是要么 sum,要么对 KL 加权(β-VAE)。
十四、PyTorch 实现骨架
下面是一个最小可跑的 MNIST VAE,展示所有概念的实际实现:
import torch
import torch.nn as nn
import torch.nn.functional as F
class VAE(nn.Module):
def __init__(self, x_dim=784, h_dim=400, z_dim=2):
super().__init__()
# ===== Encoder: 784 -> 400 -> (2 mu, 2 log_var) =====
self.fc1 = nn.Linear(x_dim, h_dim)
self.fc_mu = nn.Linear(h_dim, z_dim)
self.fc_log_var = nn.Linear(h_dim, z_dim)
# ===== Decoder: 2 -> 400 -> 784 =====
self.fc2 = nn.Linear(z_dim, h_dim)
self.fc3 = nn.Linear(h_dim, x_dim)
def encode(self, x):
h = F.relu(self.fc1(x))
return self.fc_mu(h), self.fc_log_var(h)
def reparameterize(self, mu, log_var):
# 重参数化技巧:z = mu + sigma * epsilon
std = torch.exp(0.5 * log_var)
eps = torch.randn_like(std)
return mu + std * eps
def decode(self, z):
h = F.relu(self.fc2(z))
return torch.sigmoid(self.fc3(h)) # sigmoid 把输出压到 [0, 1]
def forward(self, x):
mu, log_var = self.encode(x.view(-1, 784))
z = self.reparameterize(mu, log_var)
return self.decode(z), mu, log_var
def vae_loss(x_recon, x, mu, log_var):
recon = F.binary_cross_entropy(x_recon, x.view(-1, 784), reduction='sum')
# KL = -0.5 * sum(1 + log_var - mu^2 - exp(log_var))
kl = -0.5 * torch.sum(1 + log_var - mu.pow(2) - log_var.exp())
return recon + kl
本章要记住的(讲师亲口给的核心)
- VAE = "造一台能采样的机器"(hello 机器),按一下按钮吐出一个新样本,分布要像训练数据。
- "Secret recipe" = latent variable $z$。找隐藏因素 → 建立 z → x 映射 → 采样问题解决一半。
- 普通 AE 给"点",VAE 给"分布"——这一改动让 latent space 连续,能从中自由采样。
- $\log p(x)$ 不可算 → ELBO 是下界(讲师"地球-火星传送猫")。Jensen 不等式 + KL 拆分给出 6 步推导。
- ELBO = 重构 − KL。重构让 decoder 像原图;KL 让 encoder 输出近 $\mathcal{N}(0, I)$。
- 重参数化技巧 $z = \mu + \sigma \epsilon$ 让随机采样可导——VAE 训练的命门,DDPM 沿用。
- 工程细节:网络输出 $\log \sigma^2$(数值稳定);loss 用 sum 不用 mean(KL 量纲匹配);MNIST 用 BCE、自然图用 MSE。