前向扩散:把数据慢慢推向噪声
1000 步 Gaussian 噪声打到底,数据变成什么样?
4. 前向扩散:把数据慢慢推向噪声
主源:Vizuara《Principles of Diffusion Models》Lecture 3(讲师 Dr. Raj Dandekar,YouTube,从 VAE 过渡到 DDPM 的关键一讲);副源:CMU 10-799 S26 Lecture 2(讲师 Yilun Du,YouTube);Vizuara《Diffusion Models for Image Generation》Lecture 4(噪声-去噪范式)。
📌 TL;DR
前向扩散 = 在你的真实图像 $x_0$ 上,分 $T$ 步、每一步加一点点高斯噪声,最终把它变成纯噪声 $x_T \sim \mathcal{N}(0, I)$。这是一条固定的、不需要训练的马尔可夫链,是 DDPM 唯一"事先写死"的部分。
单步定义:
$$x_t = \sqrt{\alpha_t}\, x_{t-1} + \sqrt{1-\alpha_t}\, \epsilon, \qquad \epsilon \sim \mathcal{N}(0, I)$$这条链有一个魔术性质——你不需要真的跑 $t$ 步,可以从 $x_0$ 一跳到底,跳到任意 $t$:
$$\boxed{x_t = \sqrt{\bar\alpha_t}\, x_0 + \sqrt{1-\bar\alpha_t}\, \epsilon, \qquad \bar\alpha_t = \prod_{s=1}^t \alpha_s}$$记号约定:DDPM 原论文用 $\beta_t \in (0, 1)$ 作为本步噪声强度,$\alpha_t = 1 - \beta_t$,$\bar\alpha_t = \prod_{s\le t}\alpha_s$ 是累计信号留存率。当 $T = 1000$、$\beta_t$ 从 $10^{-4}$ 线性涨到 $0.02$ 时,$\bar\alpha_T \approx 4 \times 10^{-5}$,所以 $x_T$ 基本就是纯噪声,跟 $x_0$ 长什么样几乎无关。
为什么本章这样开篇?因为整个 DDPM 训练只做一件事——反向解构这条前向链。如果你不熟前向链的每一个齿轮($\alpha_t / \beta_t / \bar\alpha_t$ 的关系、闭式跳跃公式、$x_T \to \mathcal{N}(0, I)$ 的极限),后面看反向过程时所有的损失公式都会像"突然冒出来的天书"。
一、为什么开篇要先讲「加噪」,而不是先讲「去噪」?
这一章的标题听起来怪——明明 diffusion model 的目的是生成图像(去噪),为什么我们花一整章讲怎么把图像毁掉(加噪)?
Dr. Raj 在 Lecture 3 开头给出了非常清晰的动机(chunk #663-#665,paraphrase):DDPM 论文(Ho et al., 2020,"Denoising Diffusion Probabilistic Models")之所以能引爆图像生成革命,就是因为它"把这件事拆成了一组极其简单的步骤"——而这组步骤的第一块砖就是前向过程。
逻辑顺序是这样的:
- 前向过程(forward / diffusion / noising) — 一条固定的、无参数的马尔可夫链,把数据推向噪声。本章的全部内容。
- 反向过程(reverse / denoising) — 一个需要训练的神经网络,学着把噪声推回数据。第 5–7 章。
- 训练目标 — 让反向链尽量像前向链的真实反演。第 8 章。
所以:"先讲前向"不是顺序问题,是结构问题——反向过程在结构上完全依赖前向链给出的"路标"。先把前向链刻好,反向链才有目标可以瞄。
二、Vizuara 的范式锚点:「从噪声游走到数据流形」
Vizuara 在 Diffusion 课的另一讲(chunk #37, Lecture 4)给了一个非常具象的画面,帮你建立"为什么这个过程合理"的直觉:
这就是 diffusion 的核心隐喻:
- 把所有可能的图像看成一个高维空间(28×28 灰度图 = 784 维);
- 真实图像(熊猫、数字 7、人脸)聚集在这个空间里一片非常薄、非常稀疏的"流形"上;
- 纯高斯噪声 $\mathcal{N}(0, I)$ 散布在整个空间里,几乎不沾流形;
- 前向过程 = 从流形上的一点 $x_0$,顺着一条逐渐离开流形的轨迹走到 $x_T$(纯噪声);
- 反向过程 = 学着从噪声沿着相反的轨迹回到流形。
关键观察:一旦我们能构造从流形走到噪声的轨迹,就规定了从噪声走回流形的目标——后者是个学习问题,但前者完全是我们设计的。
这里有一个常被忽略的微妙之处:为什么我们要主动把数据推离流形?因为真实的图像流形太薄了。如果你试图直接学一个 $\mathcal{N}(0, I) \to \text{图像}$ 的映射(这就是 GAN 的思路),训练时大部分噪声样本根本"不知道该往哪走"——它们离任何真实图像都太远,梯度信号极弱。Diffusion 巧妙地把这个超远距离切成 1000 个小段,每一段都只需要去噪一点点。这就是"分而治之"的力量。
三、和上一章 VAE 的对照:DDPM 是「时间展开版 VAE」
Dr. Raj 在 Lecture 3 几乎花了一半时间在 recap VAE(chunk #648–#663),不是为了凑时间,而是为了让你看清:DDPM 不是另一种东西,它就是把 VAE 的"1 步压缩"换成了"$T$ 步逐渐加噪"。
把两者的"潜变量序列"画到一起:
| 维度 | VAE | DDPM |
|---|---|---|
| 潜变量层数 | 1(单个 $z$) | $T$(通常 1000) |
| encoder 是否学 | 学($q_\phi(z\mid x)$) | 不学,固定为加噪过程 $q(x_t\mid x_{t-1})$ |
| decoder 是否学 | 学($p_\theta(x\mid z)$) | 学($p_\theta(x_{t-1}\mid x_t)$) |
| 先验 | $\mathcal{N}(0, I)$ | $\mathcal{N}(0, I)$($x_T$ 的极限分布) |
| 维度 | 低维 latent | 同维潜变量($x_t$ 和 $x_0$ 同 shape) |
四、单步加噪:$q(x_t \mid x_{t-1})$ 长什么样
正式定义(DDPM 原论文 Eq. 2):
$$q(x_t \mid x_{t-1}) = \mathcal{N}\!\big(x_t;\ \sqrt{1-\beta_t}\, x_{t-1},\ \beta_t I\big)$$等价的"采样形式"——后面所有推导都基于这一行:
$$\boxed{x_t = \sqrt{1-\beta_t}\, x_{t-1} + \sqrt{\beta_t}\, \epsilon_t, \qquad \epsilon_t \sim \mathcal{N}(0, I)}$$把它每一项拆开看:
- $\beta_t \in (0, 1)$:第 $t$ 步加多少噪声。这是一个固定的、提前定好的小数,不是网络参数。叫做 variance schedule(方差时间表)。第 5 章会专门讲怎么选;这里只要知道它是小的(典型从 $10^{-4}$ 到 $0.02$)。
- $\sqrt{1-\beta_t}\,x_{t-1}$:把上一步的图像稍微缩小一点点。如果 $\beta_t = 0.01$,那 $\sqrt{0.99} \approx 0.995$——你看到的图像几乎没变化。
- $\sqrt{\beta_t}\,\epsilon_t$:在这张稍微变暗的图像上泼一勺高斯噪声,泼的量也是 $\sqrt{\beta_t} \approx 0.1$ 这种小尺度。
用一个数字感受一下:取 $\beta_t = 0.01$,假设你某个像素 $x_{t-1} = 0.6$,且抽到 $\epsilon_t = 1.5$,那:
$$x_t = \sqrt{0.99}\cdot 0.6 + \sqrt{0.01}\cdot 1.5 = 0.597 + 0.15 = 0.747$$这一步的变化是 $+0.147$——肉眼几乎看不出来。但是累计 1000 步,就足够把任何信号洗成纯噪声。
这是个非常容易看漏的细节。这个系数选成$\sqrt{1-\beta_t}$(而不是 1)有一个目的:保方差。如果 $x_{t-1}$ 的方差是 1,那: $$\mathrm{Var}(x_t) = (1-\beta_t)\cdot\mathrm{Var}(x_{t-1}) + \beta_t = (1-\beta_t)\cdot 1 + \beta_t = 1$$ 不管走多少步,方差始终是 1。这叫做 variance-preserving (VP) SDE。Yang Song 2021 的另一种公式 variance-exploding (VE) 让方差爆炸增长——两种 schedule 等价但工程含义不同。DDPM 选 VP 是为了让 $x_t$ 的数值范围一直可控、可输入网络。
五、为什么偏偏选高斯噪声?
这是讲师在 VAE 那章就埋下的伏笔(chunk #656-#657):
但这只是直觉的一半。为什么 DDPM 把加噪也选成高斯?三个硬核原因:
5.1 中心极限定理(CLT)的味道
不管单步噪声是什么分布,累计很多步后的总噪声会逼近高斯(这是 CLT)。既然终点必然像高斯,那干脆每一步都用高斯——既符合极限直觉,又让中间步骤都易于分析。
5.2 重参数化的可微采样
高斯是唯一能写成 $\mu + \sigma\cdot\epsilon$ 形式的常用分布($\epsilon \sim \mathcal{N}(0, I)$)。第 2 章我们讲过重参数化技巧——把随机性挤到一个和参数无关的 $\epsilon$ 里,让梯度能流过采样操作。DDPM 训练时,反向过程需要从一个高斯分布采样、且要反传——所以前向也必须是高斯。
5.3 高斯的"代数封闭性"——本章的核心魔术
下面这一行是整个 DDPM 数学体系的钥匙,请背下来:
如果前向噪声不是高斯(比如均匀分布、Laplace 分布),这条性质都不成立——你就不能写出闭式形式 $x_t = f(x_0, \epsilon)$,整个训练效率会暴跌。高斯不是哲学选择,是数学便宜的选择。
5.4 一个反直觉的强调
请注意上面 5.1 和 5.3 在不同的层级说话:
- 5.1 是分布选择的合理性:CLT 告诉我们"反正终点是高斯",所以中间用高斯不亏;
- 5.3 是计算上的便利:高斯之和还是高斯,所以中间步可以合并而非叠加。
这两点合起来就解释了一个有趣的现象:理论上你可以用任意分布设计前向链(确实有"非高斯 diffusion"的工作,如离散 D3PM、泊松 diffusion),但工程上没人这么做,因为一旦放弃高斯,你就要重新设计训练循环、放弃闭式跳跃、面对采样方差爆炸。"用高斯"是 80% 的工程红利来源。
六、闭式跳跃:从 $x_0$ 一步到 $x_t$(本章数学之心)
到这里我们有了单步公式 $x_t = \sqrt{\alpha_t}\,x_{t-1} + \sqrt{1-\alpha_t}\,\epsilon_t$(用 $\alpha_t = 1-\beta_t$ 让写起来更干净)。问题:
训练时我们要随机选一个 $t \in \{1, \dots, 1000\}$ 算 loss。难道每次都要从 $x_0$ 真跑 1000 步加噪、积累 1000 个 $\epsilon$ 才能得到 $x_{1000}$?那训练速度会慢到没法用。
答案:不需要。因为"两个独立高斯的和还是高斯",我们能把 $t$ 步加噪压缩成一行——这是 DDPM 训练高效的根本原因。下面是逐步推导,每一步都给"Why"。
七、信号与噪声的预算:$\sqrt{\bar\alpha_t}$ 与 $\sqrt{1-\bar\alpha_t}$ 的几何
盯住闭式公式:
$$x_t = \underbrace{\sqrt{\bar\alpha_t}}_{\text{信号系数}}\cdot x_0 + \underbrace{\sqrt{1-\bar\alpha_t}}_{\text{噪声系数}}\cdot \epsilon$$这两个系数加起来不是 1,但它们的平方加起来是 1:
$$(\sqrt{\bar\alpha_t})^2 + (\sqrt{1-\bar\alpha_t})^2 = \bar\alpha_t + (1-\bar\alpha_t) = 1$$所以你可以把 $(\sqrt{\bar\alpha_t}, \sqrt{1-\bar\alpha_t})$ 想成单位圆上的一个点——$t$ 从 0 走到 $T$,这个点从 $(1, 0)$ 慢慢转到 $(0, 1)$。"信号预算"逐步交给"噪声预算"。
用一张图刻画整个 schedule:
读这张图:
- $t = 0$:$\sqrt{\bar\alpha_0} = 1$、$\sqrt{1-\bar\alpha_0} = 0$ → $x_0$ 就是原图。
- $t \approx 500$:两条线交叉。信号和噪声各占一半。这是直觉上"半残图"——能看出轮廓,但细节已经被啃光。
- $t = T = 1000$:$\sqrt{\bar\alpha_T} \approx 0.006$、$\sqrt{1-\bar\alpha_T} \approx 0.9999$ → $x_T$ 几乎纯噪声。
八、极限性质:$T \to \infty$ 时 $x_T$ 收敛到什么?
看闭式公式 $x_t = \sqrt{\bar\alpha_t}\,x_0 + \sqrt{1-\bar\alpha_t}\,\epsilon$,问:
当 $t$ 足够大、$\bar\alpha_t \to 0$ 时,$x_t$ 服从什么分布?
关键:这个极限和 $x_0$ 无关。无论你起点是熊猫照片、人脸还是 MNIST 数字 7,$T$ 步后都是同一个 $\mathcal{N}(0, I)$。
这个性质极其重要:它意味着 DDPM 生成时,可以不知道目标是什么,直接从 $\mathcal{N}(0, I)$ 抽一个噪声向量当起点。所有的语义都来自反向网络的逐步去噪。
九、$\beta_t$ schedule 预览(详见下一章)
下一章会专门讲 schedule,这里先建立直觉。三种主流选择:
- 线性 schedule(DDPM 原论文):$\beta_t$ 在 $[10^{-4}, 0.02]$ 之间线性插值。简单粗暴,能用。
- 余弦 schedule(Improved DDPM,Nichol & Dhariwal 2021):让 $\bar\alpha_t = \cos^2\!\left(\frac{t/T + s}{1 + s}\cdot\frac{\pi}{2}\right)$,其中 $s = 0.008$ 是一个小偏移。优点:在 $t$ 接近 0 时变化更平缓,避免一上来就把信号砸碎太多。
- Sigmoid / 可学习 schedule:更晚的工作,作为超参或者通过 KL 最小化学出来。
三种 schedule 共享的不变约束:
- $\beta_t \in (0, 1)$ 单调递增(噪声逐步加强);
- $\bar\alpha_T$ 要足够小(让 $x_T$ 充分接近 $\mathcal{N}(0, I)$);
- $\bar\alpha_0 = 1$(起点完全没噪声)。
Nichol & Dhariwal 论文里这个小偏移有具体目的:避免 $t=0$ 附近 $\bar\alpha_t$ 离 1 太近导致网络看不到任何噪声。$s$ 越大、起点的"轻噪声段"越平滑,但太大会让早期信号留存太多。0.008 是论文实验出来的甜点值——对 $T = 1000$ 大致最优。一般实现可以照抄不改。
九点五、一个具体的数值演练(建立物理直觉)
纯抽象公式不够;让我们手算一遍,看看噪声怎么"一步步吃掉"信号。
设 $T = 1000$、线性 schedule:$\beta_t$ 在 $[10^{-4}, 0.02]$ 之间线性插值。对应的 $\bar\alpha_t$ 用 numpy.cumprod(1 - betas) 算出来:
| $t$ | $\beta_t$ | $\bar\alpha_t$ | $\sqrt{\bar\alpha_t}$ | $\sqrt{1-\bar\alpha_t}$ | 直观状态 |
|---|---|---|---|---|---|
| 0 | — | 1.0 | 1.0 | 0.0 | 原图,无噪 |
| 100 | 0.002 | ≈ 0.910 | 0.954 | 0.300 | 能看清,纹理略糊 |
| 300 | 0.006 | ≈ 0.591 | 0.769 | 0.640 | 结构清晰、细节丢失 |
| 500 | 0.010 | ≈ 0.221 | 0.470 | 0.882 | 能猜出轮廓,强烈噪点 |
| 700 | 0.014 | ≈ 0.041 | 0.203 | 0.979 | 几乎看不出原图 |
| 1000 | 0.02 | ≈ 4e-5 | 0.006 | 1.0 | 纯噪声 |
读这张表的两个观察:
- $\bar\alpha_t$ 衰减"前慢后快再慢"。前 100 步还留住 91% 信号,500 步掉到 22%,900 步只剩 ~1%。这是累积积的几何性——小幅修剪 1000 次后,乘积塌缩很快。
- "分水岭"在 $t \approx 500$。$\sqrt{\bar\alpha_t}$ 和 $\sqrt{1-\bar\alpha_t}$ 在 500 步附近相交(都 ≈ 0.7)。再往后 50 步图像就已经几乎认不出了。感知意义上的中点远早于 $T/2$——这是 cosine schedule 想修正的地方。
十、为什么 $T = 1000$?这个数字是怎么来的
DDPM 原论文用 $T = 1000$。这个数字看起来很"魔数",其实有理由:
- 太小($T = 100$):每步噪声太大、$\beta_t$ 不能很小,$q(x_t\mid x_{t-1})$ 偏离高斯太多,反向高斯近似失效,质量崩。
- 太大($T = 10000$):训练时无所谓(闭式跳跃),但生成时每张图要跑 10000 次网络,慢到没法用。
- $T = 1000$:平衡点。让 $\beta_t$ 足够小(每步 ~0.005 量级)使高斯近似有效,且生成成本可接受。
十一、把符号系统拢一下(必背记号表)
本章用了一堆相互纠缠的符号,整理成表方便回查:
| 符号 | 含义 | 取值范围 (典型 T=1000) |
|---|---|---|
$\beta_t$ | 第 $t$ 步加噪强度(方差) | $10^{-4} \to 0.02$(线性) |
$\alpha_t$ | $1 - \beta_t$,本步信号留存率 | $0.9998 \to 0.98$ |
$\bar\alpha_t$ | $\prod_{s\le t}\alpha_s$,累计信号留存率 | $1 \to \approx 4\times 10^{-5}$ |
$\sqrt{\bar\alpha_t}$ | 闭式公式里 $x_0$ 的系数 | $1 \to 0.006$ |
$\sqrt{1-\bar\alpha_t}$ | 闭式公式里 $\epsilon$ 的系数 | $0 \to 0.9999$ |
$\epsilon_t$ | 第 $t$ 步加的噪声(在链式形式里) | $\sim \mathcal{N}(0, I)$ |
$\epsilon$ | 闭式形式里的等价"汇总噪声" | $\sim \mathcal{N}(0, I)$ |
$x_0$ | 原始数据样本 | 真实图像(如归一化到 [-1, 1]) |
$x_t$ | $t$ 步加噪后的样本 | 同维潜变量 |
$x_T$ | 终点样本,≈ 纯噪声 | $\approx \mathcal{N}(0, I)$ |
alphas 和 alpha_bars,混用会立刻导致训练完全跑偏。
十二、PyTorch 实现骨架:前向加噪 = 1 行代码
把上面所有数学落到代码上:
import torch
def make_schedule(T=1000, beta_start=1e-4, beta_end=0.02):
"""预先 cache 所有 t 对应的系数。"""
betas = torch.linspace(beta_start, beta_end, T) # β_t (T,)
alphas = 1.0 - betas # α_t = 1 - β_t
alpha_bars = torch.cumprod(alphas, dim=0) # ᾱ_t = ∏ α_s
sqrt_alpha_bars = torch.sqrt(alpha_bars) # √ᾱ_t
sqrt_one_minus_alpha_bars = torch.sqrt(1.0 - alpha_bars) # √(1-ᾱ_t)
return {
"betas": betas,
"alphas": alphas,
"alpha_bars": alpha_bars,
"sqrt_alpha_bars": sqrt_alpha_bars,
"sqrt_one_minus_alpha_bars": sqrt_one_minus_alpha_bars,
}
def q_sample(x_0, t, schedule, noise=None):
"""
前向加噪的闭式实现:x_t = √ᾱ_t · x_0 + √(1-ᾱ_t) · ε
Args:
x_0: (B, C, H, W) 真实图像,已归一化到 [-1, 1]
t: (B,) int64,每个样本的时间步 0 ≤ t < T
schedule: make_schedule() 的返回字典
noise: (B, C, H, W) 可选,默认从 N(0, I) 采样
Returns:
x_t: (B, C, H, W) 加噪后的样本
noise: (B, C, H, W) 实际加上去的 ε(训练时网络要预测它)
"""
if noise is None:
noise = torch.randn_like(x_0)
# 把 schedule 的标量按 t 取出,并 broadcast 到 image shape
sqrt_ab = schedule["sqrt_alpha_bars"][t].view(-1, 1, 1, 1)
sqrt_omab = schedule["sqrt_one_minus_alpha_bars"][t].view(-1, 1, 1, 1)
# ★ 整个 DDPM 训练的核心一行 ★
x_t = sqrt_ab * x_0 + sqrt_omab * noise
return x_t, noise
# === 用法示例 ===
sched = make_schedule(T=1000)
x_0 = torch.randn(8, 3, 32, 32) # batch of "images"
t = torch.randint(0, 1000, (8,)) # 每个样本一个独立 t
x_t, noise = q_sample(x_0, t, sched)
# x_t.shape == x_0.shape,noise 就是要训练 U-Net 去预测的目标
- 整个"加噪"实质上就是
sqrt_ab * x_0 + sqrt_omab * noise这一行——之前所有数学都是为了证明这一行合法且无信息损失。 - 每个样本独立采一个 $t$(
randint(0, 1000, (B,)))。这等价于对所有 $t$ 做均匀加权的训练损失。后续 EDM 等会改成非均匀。 - 返回值同时给出
noise——因为反向网络的训练目标就是 $\epsilon$,必须把这个真值带出来算 loss。下一章你会看到F.mse_loss(net(x_t, t), noise)这种极简训练循环。
十三、Markov 性质 vs 闭式跳跃:是不是矛盾?
讲到这里你可能有一个疑问:
前向过程被定义为马尔可夫链($x_t$ 只依赖 $x_{t-1}$)。但我们又说可以从 $x_0$ 一步跳到 $x_t$——这岂不是跳过了中间所有状态?还是 Markov 吗?
答案:两者完全相容。区分两个东西:
- 过程的定义是 Markov 的——$q(x_t\mid x_{t-1}, x_{t-2}, \dots) = q(x_t\mid x_{t-1})$。这是结构。
- 闭式跳跃给出的是 $q(x_t\mid x_0)$ ——这是把 $t$ 步 Markov 转移积分掉中间变量后的边际分布。它不违反 Markov 性质,只是利用了高斯的良好代数性质把积分算出来了。
类比:你扔 100 次硬币得到正面次数的分布,是二项分布 $\mathrm{Binomial}(100, 0.5)$——这是个一步公式。但每一次扔硬币仍然是独立的伯努利过程。两者完全相容。前向扩散就是连续值版的同一件事。
十四、本章的「微妙之处」与下一章的钩子
有几个常被踩的坑,要在这里点破:
十五、嵌入视频片段:讲师亲手在白板推导
本章的 20 个 source_chunks 里,前 16 个其实是 Vizuara Lecture 3 对 VAE 的详细回顾(chunk #648-#663),讲师在 chunk #663 才正式从 VAE 过渡到 DDPM;chunk #664-#665 介绍了 DDPM 论文的历史地位但没有展开前向链的数学。因此本章的前向闭式跳跃推导(第 6 节)和 schedule 工程细节是我(textbook author)根据 DDPM 原论文(Ho et al. 2020 Eq. 2-4)补充的——这是讲师在下一节白板演算才会展开的内容。如果你想看讲师亲手推 $\bar\alpha_t$,请关注 Vizuara Lecture 3 的后半段(视频 ~20:00 之后)。CMU 10-799 Lecture 2(chunk #1073)的相应推导风格更代数化,可作互补阅读。
十六、回到一开始的问题:「为什么要把数据毁掉?」
读到这里,那个看似怪异的问题应该有答案了:
- 因为生成 = 反向。要学会生成,先得有一条已知答案的反向训练目标。
- 因为噪声是"普适语言"。$\mathcal{N}(0, I)$ 不依赖于数据集——所以训完模型后,从噪声采样就是从模型采样。
- 因为前向链的每一步都给反向链留下了"路标"。$\epsilon_t$(真实噪声)就是反向网络在第 $t$ 步要预测的目标。前向链制造了无穷多的训练数据对 $(x_t, \epsilon)$。
- 因为高斯让数学变得可解。两个高斯的和还是高斯——这一条让 $t$ 步前向能折叠成 1 行公式,让训练高效;同样的代数也会让反向条件分布有闭式,让 loss 简单。
这就是为什么 DDPM 论文的标题里两个词排序是 "Denoising Diffusion"——先扩散、后去噪。扩散把数据"毁掉"是为了去噪有目标可学。
本章要记住的(讲师亲口给的核心 + 推导锚点)
- 前向扩散是固定的、不需要训练。整条 $q(x_{1:T}\mid x_0)$ 只取决于 $\beta_t$ schedule——这是 DDPM 比 VAE 简化的关键差别(讲师 chunk #663 的"VAE 双网络联训痛点"得到根治)。
- 单步公式:$x_t = \sqrt{1-\beta_t}\,x_{t-1} + \sqrt{\beta_t}\,\epsilon_t$。$\sqrt{1-\beta_t}$(而非 1)的选择是为了 variance-preserving——方差始终 = 1。
- 本章数学之心:闭式跳跃 $x_t = \sqrt{\bar\alpha_t}\,x_0 + \sqrt{1-\bar\alpha_t}\,\epsilon$。靠"两独立高斯之和方差相加"6 步推出。这一行让训练不需要 for 循环展开 1000 步。
- 信号-噪声预算守恒:$(\sqrt{\bar\alpha_t})^2 + (\sqrt{1-\bar\alpha_t})^2 = 1$。$t$ 从 0 到 $T$ 就是单位圆上从"全信号"转到"全噪声"的角度变化。$t \approx 500$ 是分水岭。
- 极限:$T \to \infty$ 时 $x_T \to \mathcal{N}(0, I)$,和 $x_0$ 无关。这是反向链能用 $\mathcal{N}(0, I)$ 作为起点采样的理论基础。
- 为什么必须是高斯:①CLT 极限暗示;②重参数化可微采样;③两高斯之和是高斯(代数封闭性)。三者缺一不可。
- 必背记号:$\beta_t / \alpha_t = 1-\beta_t / \bar\alpha_t = \prod\alpha_s$。$\alpha_t$ 和 $\bar\alpha_t$ 一字之差,混用直接训崩。代码里始终是
alphas和alpha_bars两个独立张量。