第 6 章 · Module 2: DDPM — 加噪与去噪

反向去噪:从噪声里恢复数据

可学的逆过程是怎么参数化的。


6. 反向去噪:从噪声里恢复数据

主源:Vizuara《Principles of Diffusion Models》Lecture 3(讲师 Dr. Raj Dandekar,chunk #0–19);副源:CMU 10799 Lecture 2(Kelly Marsh);Vizuara《Diffusion LM》Lecture 4(denoising 直觉)。

📌 TL;DR

反向过程就是把第 4 章那条"数据 → 噪声"的链子反过来跑:从一团纯高斯噪声 $x_T \sim \mathcal{N}(0, I)$ 出发,一步一步去噪、还原成一张真实样本 $x_0$。每一步学一个条件高斯:

$$p_\theta(x_{t-1} \mid x_t) = \mathcal{N}\!\big(x_{t-1};\ \mu_\theta(x_t, t),\ \Sigma_t\big)$$

方差 $\Sigma_t$ 通常固定(DDPM 取 $\beta_t I$ 或 $\tilde\beta_t I$);真正要学的只有均值 $\mu_\theta(x_t, t)$,由一个共享参数的神经网络(多半是 U-Net)给出。

训练目标怎么定?Bayes 给出一个"作弊神器":在条件 $x_0$ 已知时,真实后验 $q(x_{t-1} \mid x_t, x_0)$ 是闭式高斯。让网络的 $\mu_\theta(x_t, t)$ 去匹配它的均值 $\tilde\mu_t(x_t, x_0)$——这就把"反向"问题压成了一连串可解的 KL 优化。

为什么不是简单地把前向公式反着写一次?因为前向加噪是有损过程:那个 $\epsilon$ 一旦采完就丢了,反向时只能"估期望"而非"精确还原"。Dr. Raj 在 L8 把这件事讲得很重——这一章就把"naïve 反向"是怎么被打掉、"真正的反向"为什么必须是一连串可学的 decoder讲清楚。

承上启下:本章是 DDPM 训练损失的"地基"。后面 第 7 章会在它的基础上推出著名的 $L_\text{simple} = \mathbb{E}[\|\epsilon - \epsilon_\theta(x_t, t)\|^2]$——你会看到所有 KL 项最终都坍缩成"预测噪声的 MSE"。

一、从 VAE 跨到 Diffusion:一次还原 vs 多步还原

讲师 Dr. Raj 在 Lecture 3 一开场,先把 VAE 复习了一遍——不是凑时间,而是因为反向过程的语法和 VAE decoder 几乎一模一样,只是把一次还原拉成 T 次还原。Vizuara 这门课的开场原话:

「In this particular lecture, we are going to move forward from variational autoencoders. Before we move ahead, I want to do a quick recap of variational autoencoders and what is the exact architecture of VAEs. So, VAEs have an architecture which look like this: you have a data, and then you have an encoder which transforms this data from the real space to the latent space.」(chunk #0)

VAE 干的事情可以一句话概括:"压一次,还原一次。"——encoder 把图压成 latent $z$,decoder 把 $z$ 解码回 $x$。它是个一步过程。但讲师马上指出 VAE 有两大遗憾(chunk #16-17):

「Every single output image appears blur compared to the original image... So that is the drawback of standard variational autoencoder that it often produces blurry outputs. And another major drawback is that the encoder and the decoder have to be trained jointly... two neural networks at the same time. and this is something which has proven to be uh problematic in practical use cases.」(chunk #16–17)

这两个痛点直接把讲师导向 DDPM:

「So with this introduction in mind we are going to move to diffusion modeling in this lecture, and the title of this lecture is denoising diffusion probabilistic models. So this was a paper which came out in 2020... it is an incredibly popular paper and it gave a new direction to the field of image generation.」(chunk #17–18)

那 DDPM 比 VAE 好在哪?想象一下"把一次重建切成一千次小重建":

  • 每一步只需要解决"从噪声更多一点的 $x_t$ 还原到噪声少一点的 $x_{t-1}$"——这是个非常小的、局部的去噪任务,模型很容易学;
  • 所有 T 步共享同一个网络(参数 $\theta$ 共用),time embedding 告诉它当前是第几步;
  • 不再需要 encoder(前向是无参的高斯加噪)—— 一个网络就够了,VAE "训两个网络互相打架"的麻烦消失。
🧭 直觉锚点:把 VAE 想成"一台一气呵成的复印机"——你按一下,它一次就还原出整张图,容易模糊。DDPM 是"一千个微微清晰一点的修图师排成流水线"——每个人只需要负责把照片"擦亮一档",错的余地极小。多步小修战胜一步大修,这是 DDPM 思想的灵魂。

二、Vizuara LM 课的"去噪"直觉:从噪声里走回数据流形

Vizuara 在 LM 那门姐妹课(Lecture 4)用了另一个画面把 denoising 讲得格外形象——讲师把图像空间想成一个概率分布的"地图":

「Now that we have seen the probabilistic length of generative AI, let us actually see that how do diffusion models achieve their true purpose. And their true purpose is to find the underlying probability distribution. The way diffusion models find this purpose is through a process of denoising.」(chunk #2)
「Let's say that we want to generate images of a panda or a bear. And these images live somewhere over here—that's the probability distribution where you have to sample images which look like a bear or a panda. The way diffusion models work is that they start out with noise. So they may start out at some random location in the probability distribution space.」(chunk #2)

把这个画面写成数学:

  • 真实数据 $x_0 \sim p_{\text{data}}$ 集中在高维空间里一个非常薄、非常稀疏的流形("全世界的熊猫图"在 784 维像素空间里只占极小一片);
  • 纯高斯噪声 $x_T \sim \mathcal{N}(0, I)$ 弥漫整个空间,离数据流形非常远;
  • 反向过程要做的,就是从 $x_T$ 出发,沿着一条梯度下降一般的轨迹,一步步朝数据流形挪——每一步小小拉近 $x_t$ 到流形的距离。
真实数据流形 $p_\text{data}$ x_T(纯噪声) 每条箭头 = 一次 $p_\theta(x_{t-1}\!\mid\!x_t)$ 采样 x_0(落到流形上)

这张图就是反向过程的目标:让红点从画面左上角(高熵的噪声海洋)平滑漂回画面中下方那条曲线上(低熵的数据流形)。每步漂移由一个学出来的高斯 $p_\theta(x_{t-1}|x_t)$ 给出——这就是本章的主角。

三、Naïve 想法:把前向公式倒着写

面对这个问题,初学者最自然的反应就是:"前向不是 $x_t = \sqrt{1-\beta_t}\, x_{t-1} + \sqrt{\beta_t}\, \epsilon$ 吗?那反向不就是把这两项反算一下?"——讲师 Dr. Raj 在 Lecture 3 直接拷问这个想法,让你看到它是怎么看着对,其实错的。

「The first intuition is — reverse 不就是把 forward 这步反过来?前向是 mean × √α + √β × noise。那为什么反向不能就是 upscale by α、再 remove β noise from each pixel?」(Dr. Raj,Lecture 3 反向引入段)

问题出在那个 $\epsilon$——前向加噪声的时候,那一项是随机采的,是 $\mathcal{N}(0, I)$ 抛出来的一个具体样本。一旦加进去:

  • 前向方向,你知道这个 $\epsilon$ 是什么(训练时是你亲手 sample 出来的);
  • 反向方向(推理时),你只看到 $x_t$——你不知道当初加的具体那一团噪声长什么样。它已经和信号融合在一起。

所以"减去 $\sqrt{\beta_t}\, \epsilon$"这件事根本无法精确执行——这是一个不可逆的有损操作。形式上:

$$x_{t-1} = \frac{x_t - \sqrt{\beta_t}\, \epsilon}{\sqrt{1 - \beta_t}}$$

右边的 $\epsilon$ 是未知量。你能做的最好的事情,就是估计它(或等价地,估计 $x_{t-1}$ 在已知 $x_t$ 下的期望)。这就是为什么反向必须用神经网络做 Bayesian 推断,而不是代数倒装。

⚠️ 常见误区:很多博客把前向写成"加噪 $\epsilon$",反向写成"减噪 $\epsilon$",让读者误以为反向就是减法。其实反向预测的不是当时的那个 $\epsilon$,而是 $\epsilon$ 在所有可能性下的后验期望 $\mathbb{E}[\epsilon \mid x_t]$——这是个统计学习问题,不是代数题。

四、真正的反向:一连串可学的 decoder

讲师在 Lecture 3 给出反向过程的正式定义时,反复强调"a series of"这件事——不是一次还原,是上千次小还原:

「This is not like a one-time denoising step like we did for VAE. There are a series of decoders here with trainable parameters. The essence of DDPM lies in the ability to reverse the controlled diffusion.」(Dr. Raj,Lecture 3 反向定义段)

形式化:反向也是一条 Markov 链——但方向相反,需要学习:

$$p_\theta(x_{0:T}) = p(x_T) \prod_{t=1}^T p_\theta(x_{t-1} \mid x_t), \qquad p(x_T) = \mathcal{N}(0, I)$$

每一步条件分布参数化为高斯:

$$\boxed{\ p_\theta(x_{t-1} \mid x_t) \;=\; \mathcal{N}\!\big(x_{t-1};\ \mu_\theta(x_t, t),\ \Sigma_t\big)\ }$$

逐项理解(这是本章第一块必须背下来的砖):

  • $\mathcal{N}(\cdot, \cdot, \cdot)$:每一步是一个高斯分布——意味着"从 $x_t$ 去到 $x_{t-1}$"不是一个确定的映射,而是一个有不确定性的转移。这件事很合理:知道一张噪声图后,能与它对得上的"稍微清晰一点"的图有很多种,反向过程必须承认这种多样性,于是用一个分布来表达;
  • $\mu_\theta(x_t, t)$:均值——由神经网络(参数 $\theta$)给出,这是反向过程里唯一需要训练的东西。它依赖当前噪声图 $x_t$ 和当前时间步 $t$;
  • $\Sigma_t$:协方差矩阵——通常固定不学。DDPM 原论文用 $\beta_t I$(前向的方差直接搬过来)或 $\tilde\beta_t I$(后面会推出来的后验方差),实验上两种差距不大;
  • $t$ 作为输入:网络必须知道自己处在哪一步——是 t=999(噪声很多、目标是粗略勾轮廓)还是 t=10(噪声很少、目标是抠细节)。这就是 sinusoidal time embedding 的来源(下文)。
$x_T$ 纯噪声 $p_\theta$ $x_{T-1}$ ··· $x_{t+1}$ $p_\theta$ $x_t$ $p_\theta$ $x_{t-1}$ ··· $x_0$ 真实样本 所有 $p_\theta$ 共享同一个神经网络;t 通过 time embedding 注入

注意三个要点:

  1. 整条链反过来跑:从右往左看是前向(清晰→噪声、无参、用 $q$ 表示),从左往右看是反向(噪声→清晰、有参、用 $p_\theta$ 表示);
  2. 箭头数量 = T:DDPM 原论文 $T = 1000$。每个红箭头都是网络跑一次 forward——所以 DDPM 推理慢(1000 步),但训练快(可跳步采 $x_t$);
  3. 参数 θ 共享:不是 1000 个独立网络,是同一个网络跑 1000 次,每次只通过 time embedding 告诉它"现在是第几步"。

五、训练目标怎么定?Bayes 把"作弊神器"递过来

我们已经知道形式$p_\theta(x_{t-1}|x_t) = \mathcal{N}(\mu_\theta, \Sigma_t)$,但 $\mu_\theta$ 究竟应该逼近什么?这里要用一招很漂亮的条件 Bayes。

5.1 真后验 $q(x_{t-1}|x_t)$ 算不出来

"理想的"反向应该是前向的真后验:

$$q(x_{t-1} \mid x_t) \;=\; \frac{q(x_t \mid x_{t-1}) \, q(x_{t-1})}{q(x_t)}$$

但这个公式不可计算,因为分母 $q(x_t) = \int q(x_t \mid x_0) p_{\text{data}}(x_0) dx_0$ 要在所有真实数据 $x_0$上积分——同样的 intractability 问题,和ELBO 那一章遇到的一模一样。

5.2 「偷看 $x_0$」 这一招

关键的小技巧:训练时我们其实有 $x_0$!——它就是当前 batch 里的真实图。所以我们可以问一个更聪明的问题:

不要算 $q(x_{t-1}|x_t)$,而去算条件版本 $q(x_{t-1}|x_t, x_0)$——已知"清晰原图 $x_0$ + 当前噪声图 $x_t$",问"上一步的中间产物 $x_{t-1}$" 应该长什么样。

神奇的事情发生了:$q(x_{t-1}|x_t, x_0)$ 是一个闭式高斯!

5.3 推导(一步一行)

用 Bayes 公式:

步骤 1:列 Bayes $$q(x_{t-1} \mid x_t, x_0) \;=\; \frac{q(x_t \mid x_{t-1}, x_0)\, q(x_{t-1} \mid x_0)}{q(x_t \mid x_0)}$$ Why:标准条件 Bayes,把"难算的 $q(x_t \mid x_0)$"放到分母里。三个组件全是前向分布。
步骤 2:三个组件都已知(且都是高斯!)
  • $q(x_t \mid x_{t-1}, x_0) = q(x_t \mid x_{t-1}) = \mathcal{N}\!\big(x_t; \sqrt{1-\beta_t}\, x_{t-1},\ \beta_t I\big)$(Markov 前向,第 4 章);
  • $q(x_{t-1} \mid x_0) = \mathcal{N}\!\big(x_{t-1}; \sqrt{\bar\alpha_{t-1}}\, x_0,\ (1-\bar\alpha_{t-1}) I\big)$(跳步公式);
  • $q(x_t \mid x_0) = \mathcal{N}\!\big(x_t; \sqrt{\bar\alpha_t}\, x_0,\ (1-\bar\alpha_t) I\big)$(跳步公式)。
Why:所有右侧分布都是前向的、有显式解析式——这就是第 4 章那一堆 $\bar\alpha$ 的回报。
步骤 3:三个高斯相乘 / 相除 → 仍是高斯

把三个 PDF 写出来,把指数里的 $x_{t-1}$ 项配方(complete the square)。代数有点繁琐但纯机械。结果:

$$\boxed{\ q(x_{t-1} \mid x_t, x_0) \;=\; \mathcal{N}\!\big(x_{t-1};\ \tilde\mu_t(x_t, x_0),\ \tilde\beta_t I\big)\ }$$

其中:

$$\tilde\mu_t(x_t, x_0) \;=\; \frac{\sqrt{\bar\alpha_{t-1}}\, \beta_t}{1-\bar\alpha_t}\, x_0 \;+\; \frac{\sqrt{1-\beta_t}\,(1-\bar\alpha_{t-1})}{1-\bar\alpha_t}\, x_t$$ $$\tilde\beta_t \;=\; \frac{1-\bar\alpha_{t-1}}{1-\bar\alpha_t}\, \beta_t$$ Why:这是高斯族的封闭性——高斯之间做"乘/除/配方"运算,结果还是高斯。所以"真后验" $q(x_{t-1}|x_t, x_0)$ 完全已知,有闭式。
💡 看清楚 $\tilde\mu_t$ 的结构:它就是 $x_0$ 和 $x_t$ 的加权平均——一个权重往"清晰原图"靠,一个权重往"当前噪声图"靠。两个权重的和不是 1(涉及 $\bar\alpha$),但形式是线性插值。直观说:上一步 $x_{t-1}$ 既应该有点像原图(向 $x_0$ 拉),也应该有点像当前噪声图(向 $x_t$ 拉)。

5.4 训练目标:让 $\mu_\theta$ 匹配 $\tilde\mu_t$

有了"标准答案" $\tilde\mu_t(x_t, x_0)$,训练目标就清楚了:

让模型输出 $\mu_\theta(x_t, t)$ 逼近真实后验均值 $\tilde\mu_t(x_t, x_0)$。

讲师 Dr. Raj 在反向训练目标那段直白地说:

「This is the KL divergence between two probabilities. Our prediction should match... as close as possible. Our neural network will predict 'how do we actually go from $x_2$ to $x_1$'.」(Dr. Raj,Lecture 3 反向 KL 段)

形式化为每一步的 KL 损失:

$$L_{t-1} \;=\; \mathbb{E}_{q}\!\left[D_{\mathrm{KL}}\!\big(\,\underbrace{q(x_{t-1}|x_t, x_0)}_{\text{标准答案 } \mathcal{N}(\tilde\mu_t, \tilde\beta_t I)} \,\|\, \underbrace{p_\theta(x_{t-1}|x_t)}_{\text{模型 } \mathcal{N}(\mu_\theta, \Sigma_t)}\,\big)\right]$$

当 $\Sigma_t$ 是固定的(取 $\tilde\beta_t I$),两个高斯之间的 KL 退化成均值差的平方:

$$L_{t-1} \;=\; \mathbb{E}_q\!\left[\frac{1}{2\tilde\beta_t}\, \|\tilde\mu_t(x_t, x_0) - \mu_\theta(x_t, t)\|^2\right] + \text{const}$$

每一步的训练损失就是一个 MSE。整条反向链的损失是 T 个这种 MSE 加起来——这就是 DDPM 损失的"原版结构"。

六、ELBO 视角:为什么 KL 之和等于反向链的 NLL 下界

把每步 KL 拼起来不是凑出来的——它恰好就是整条 Markov 链 log-likelihood 的 ELBO。回忆第 3 章的 ELBO 推导,把它从"一层 latent"推广到"T 层 latent":

$$\log p_\theta(x_0) \;\geq\; \mathbb{E}_q\!\left[\log \frac{p_\theta(x_{0:T})}{q(x_{1:T} \mid x_0)}\right]$$

用 Markov 因子化展开,整理成著名的"三段式 ELBO"(DDPM 原论文式 5):

$$-\log p_\theta(x_0) \;\leq\; \underbrace{\mathbb{E}_q\!\left[D_{\mathrm{KL}}\!\big(q(x_T|x_0) \| p(x_T)\big)\right]}_{L_T:\text{ prior 匹配,常数}} \;+\; \sum_{t=2}^T \underbrace{\mathbb{E}_q\!\left[D_{\mathrm{KL}}\!\big(q(x_{t-1}|x_t, x_0) \| p_\theta(x_{t-1}|x_t)\big)\right]}_{L_{t-1}:\text{ 反向 KL}} \;+\; \underbrace{-\mathbb{E}_q[\log p_\theta(x_0|x_1)]}_{L_0:\text{ 最后一步重构}}$$

三块各自的角色:

  • $L_T$(prior matching):让前向终点 $q(x_T|x_0)$ 接近标准高斯 $p(x_T) = \mathcal{N}(0, I)$。在 DDPM 里 $T$ 取得很大、$\bar\alpha_T \approx 0$,这一项几乎是常数,训练时完全忽略;
  • $L_{1:T-1}$(reverse KL):每一步的反向高斯要匹配真后验——本章主菜,T-1 个 MSE 项;
  • $L_0$(reconstruction):最后从 $x_1$ 到 $x_0$ 的离散似然项——MNIST/图像里通常用 discretized Gaussian 处理像素 0-255 的离散性。
ℹ️ DDPM 论文的"简化":把所有 $L_{t-1}$ 的权重 $\frac{1}{2\tilde\beta_t}$ 统一替换成 1,把 $L_0$ 也并入同一个 MSE 形式——得到大名鼎鼎的 $L_\text{simple}$。这个简化在第 7 章讲透,那时你会发现它居然能让训练更稳定、效果更好(虽然在 ELBO 意义上是"不严格"的)。

七、Epsilon 参数化:把 $\mu_\theta$ 换成 $\epsilon_\theta$

到这一步,我们的网络是"预测均值的"——输入 $(x_t, t)$,输出 $\mu_\theta(x_t, t)$。DDPM 论文里有一个关键的换元,把它改成"预测噪声的",loss 立刻变得更简单。

7.1 从前向闭式提取 $\epsilon$

回忆第 4 章的跳步公式:

$$x_t \;=\; \sqrt{\bar\alpha_t}\, x_0 + \sqrt{1-\bar\alpha_t}\, \epsilon, \qquad \epsilon \sim \mathcal{N}(0, I)$$

反解出 $x_0$(这一步是整个换元的核心):

$$x_0 \;=\; \frac{1}{\sqrt{\bar\alpha_t}}\left(x_t - \sqrt{1-\bar\alpha_t}\, \epsilon\right)$$

7.2 把 $x_0$ 代回 $\tilde\mu_t$

把上式代入 $\tilde\mu_t(x_t, x_0)$,再做一些代数(这一步是 mechanical 但容易出错的,建议自己用纸笔推一遍):

展开 $\tilde\mu_t$ 后合并同类项 $$\tilde\mu_t \;=\; \frac{1}{\sqrt{1-\beta_t}}\left(x_t - \frac{\beta_t}{\sqrt{1-\bar\alpha_t}}\, \epsilon\right)$$ Why:把 $x_0$ 替换成 $(x_t, \epsilon)$ 的表达后,$\tilde\mu_t$ 的所有"对 $x_0$ 的依赖"都变成"对 $\epsilon$ 的依赖"——而 $x_t$ 本身在等式两边都出现,自然合并。

这个结果非常漂亮:$\tilde\mu_t$ 不再是 $x_0, x_t$ 的线性组合,而是 $x_t$ 减去一个"按比例缩放的 $\epsilon$"。它直接暗示:

反向过程的"实际工作",就是预测当时加进去的那一团噪声 $\epsilon$——然后从 $x_t$ 里把它按比例减掉。

7.3 网络改为预测 $\epsilon$

定义网络输出 $\epsilon_\theta(x_t, t)$(同样的 U-Net,只是把目标头从"预测 $\mu$"改成"预测 $\epsilon$")。把 $\mu_\theta$ 参数化为:

$$\boxed{\ \mu_\theta(x_t, t) \;=\; \frac{1}{\sqrt{1-\beta_t}}\!\left(x_t - \frac{\beta_t}{\sqrt{1-\bar\alpha_t}}\, \epsilon_\theta(x_t, t)\right)\ }$$

代回每步 KL 损失 $L_{t-1} \propto \|\tilde\mu_t - \mu_\theta\|^2$,所有 $x_t$ 项相消,只剩 $\epsilon$ 项:

$$L_{t-1} \;=\; \mathbb{E}_{x_0, \epsilon, t}\!\left[\frac{\beta_t^2}{2 \tilde\beta_t (1-\beta_t)(1-\bar\alpha_t)}\, \|\epsilon - \epsilon_\theta(x_t, t)\|^2\right]$$

这就是 DDPM 损失的第二种等价形式——网络的工作是"看着 $x_t$ 猜被加进去的 $\epsilon$",loss 是 $\epsilon$ 的 MSE。第 7 章会把前面那个复杂的权重直接抹掉,得到 $L_\text{simple} = \mathbb{E}[\|\epsilon - \epsilon_\theta\|^2]$。

🧰 为什么换元成 $\epsilon$ 更好?
① 目标尺度更稳定:$\epsilon \sim \mathcal{N}(0, I)$ 是标准化的(均值 0、方差 1),网络输出在所有 $t$ 上量纲一致;而 $\mu_\theta$ 的尺度随 $t$ 变化很大。
② 训练样本生成快:用跳步公式 $x_t = \sqrt{\bar\alpha_t} x_0 + \sqrt{1-\bar\alpha_t}\, \epsilon$,随机采 $(x_0, t, \epsilon)$ 就能直接合成训练样本——不需要真的跑前向 t 步。
③ 与 score matching 的桥梁:$\epsilon$ 预测本质上等价于估计 score function $\nabla_{x_t} \log q(x_t)$,详见第 10 章(Tweedie's formula 那一节)。

八、网络架构插曲:U-Net + Time Embedding

本章主要讲的是反向过程的概率结构,但既然提到"网络给出 $\epsilon_\theta(x_t, t)$",简要说一下这个网络长什么样。完整架构留到后面专门讲,这里只埋一个关键点。

8.1 U-Net:输入输出同样大小

图像 DDPM 的网络是U-Net——一种"先下采样、再上采样、再加 skip connection"的对称沙漏结构。为什么用 U-Net?

  • 输入输出尺寸相同:$x_t$ 是 $C \times H \times W$ 的图,网络要输出同样形状的 $\epsilon_\theta$(每个像素都要预测对应位置的噪声分量);
  • 多尺度感受野:下采样路径抓全局结构(这张噪声图大致是个什么类别?),上采样路径抠局部细节(这块像素的噪声应该减多少?);
  • Skip connection 保细节:高分辨率特征直接跨过 bottleneck 传到上采样端——防止"细节信息被瓶颈压扁"。

8.2 Time embedding:让网络知道"现在是第几步"

因为同一个网络处理所有 1000 步,它必须分清"我现在在去早期的微调(小 t)还是去晚期的粗去噪(大 t)"。做法是把整数 $t$ 编码成一个向量,然后注入网络每一层。

最常见的编码是sinusoidal positional embedding(Transformer 那套):

$$\text{emb}(t)_{2i} = \sin\!\left(\frac{t}{10000^{2i/d}}\right), \quad \text{emb}(t)_{2i+1} = \cos\!\left(\frac{t}{10000^{2i/d}}\right)$$

得到 $d$ 维向量后,再过 2 层 MLP,最后在 U-Net 每个 residual block 里以"加偏置"或"FiLM"形式注入。这样不同 $t$ 对应不同的特征调制——同一个网络动态适应不同的去噪难度。

ℹ️ 详细架构:U-Net 的具体配置(多少层、attention 放哪、residual block 怎么写)留到第 9 章 U-Net讲。这里你只需要知道两件事:(1) 网络输入是 $(x_t, t)$、输出是 $\epsilon_\theta(x_t, t)$,形状和 $x_t$ 一样;(2) 同一个网络处理所有时间步,靠 time embedding 区分。

九、Tweedie 直觉:从噪声"看穿"到清晰图

到这里你可能还有一个疑问:"网络凭什么能预测 $\epsilon$?给它一张噪声图,它怎么知道这团噪声里原本的信号是什么?"——这背后有一个非常深的统计学事实,叫做 Tweedie's formula(第 10 章完整讲)。这里给个直觉版预告,把第十章的叙事钩子先埋下来。

对一个高斯加噪过程 $y = x + \sigma \epsilon$,已知 y 时 x 的后验均值可以写成:$\mathbb{E}[x|y] = y + \sigma^2 \nabla_y \log p(y)$。这意味着:只要你知道 $\log p(y)$ 的梯度("score function"),你就能从 y 算出 x 的最佳估计。

翻译成 diffusion 语言:

  • 给定 $x_t$(带噪),它的"清晰版"$x_0$ 的最佳点估计就是 $x_t$ 加上"概率密度的梯度"乘 $\sigma^2$;
  • 这个"概率密度梯度"不需要知道 $p_\text{data}$ 的具体公式——可以直接用神经网络拟合;
  • 事实上,预测 $\epsilon$ 等价于预测 score function(差一个 $-1/\sqrt{1-\bar\alpha_t}$ 的常数)。

所以"网络看着噪声图猜噪声"听起来玄,其实它在无意识地学整个数据分布的形状——更精确地说,学的是数据分布的对数梯度场。这是 diffusion 和 score-based 模型本质等价的根源。Song Yang 在 2021 年的著名论文《Score-Based Generative Modeling through SDE》正是把这两条看似不同的路线(DDPM 的概率链 + Hyvärinen 的 score matching)统一在同一个 SDE 框架下——这一统一让整个领域的术语和工具瞬间打通,从那之后大家说"diffusion model"和"score-based model"基本指的是同一件事。

"网络从一张几乎全是噪声的图里『看穿』出一张清晰图"——这不是什么魔法。它是 Bayes 后验在大量训练数据上的统计平均:训练集里见过的"清晰图 + 噪声"对足够多时,"在这个噪声 pattern 附近最可能的清晰图长什么样" 就被学进了网络参数。换句话说,反向过程不是"破解每一个具体的 $\epsilon$",而是"逼近整个数据分布的几何结构"。模型学到的是"什么样的图像在数据流形上",然后在每一步采样里把当前噪声推一小步往那个流形挪。

再换个角度说同一件事:前向是熵增过程(信息一点点散掉),反向必须是熵减过程(信息一点点恢复)。但物理上"凭空"减熵不可能——所以网络必须"从训练集见过的样本"那里把信息注入回采样过程。反向链的所有"清晰度",本质上来自训练时学到的数据分布几何知识。这也解释了为什么生成出来的图看起来像训练集——网络其实就是在沿训练分布的对数梯度做最速下降。

十、整章串起来:训练流程 vs 采样流程

把所有概念合到两张流程图里,是检验自己理解的最好方式。

10.1 训练流程(每个 step)

# 训练一步 (DDPM)
x_0 = sample_real_image()                # 从数据集随机取一张图
t   = sample_uniform(1, T)               # 随机一个时间步
eps = randn_like(x_0)                    # 采一个标准高斯噪声

# 用跳步公式合成 x_t(不需要真跑 t 步前向)
x_t = sqrt(alpha_bar[t]) * x_0 + sqrt(1 - alpha_bar[t]) * eps

# 让网络预测 eps
eps_pred = epsilon_theta(x_t, t)         # U-Net + time embedding

loss = mse(eps, eps_pred)                # L_simple
loss.backward(); optim.step()

这就是 DDPM 训练的全貌——不到 10 行。注意:

  • 训练时从来不跑反向链——只是"采个 t、合成 $x_t$、让网络猜噪声";
  • 每个 batch 里 t 是随机均匀的——网络同时被训成"小 t 的精细去噪师"和"大 t 的粗略去噪师";
  • $\bar\alpha_t$ 是预计算好的(schedule 固定);$\beta_t, \tilde\beta_t$ 都不出现在 loss 里(被 simplify 掉了)。

10.2 采样流程(生成一张图)

# 采样 (DDPM ancestral)
x_T = randn(shape=(C, H, W))             # 从纯高斯起步

for t in range(T, 0, -1):
    eps_pred = epsilon_theta(x_t, t)
    # 用 mu_theta 公式算这步的均值
    mu = (1 / sqrt(1 - beta[t])) * (x_t - beta[t] / sqrt(1 - alpha_bar[t]) * eps_pred)
    # 加一点随机性(最后一步 t=1 时不加)
    sigma = sqrt(beta_tilde[t]) if t > 1 else 0
    z = randn_like(x_t) if t > 1 else 0
    x_{t-1} = mu + sigma * z

return x_0

这就是反向链的实际计算——T 次循环、每次一个 U-Net forward。1000 步意味着 1000 次 forward——DDPM 推理慢的原因。第 13 章 DDIM 会教你怎么跳步采样把 1000 压到 50。

十一、为什么这件事能跑通?三个"贵宾"性质

反向过程能 work,背后藏着三个并非显然的数学礼物:

11.1 高斯族封闭性

所有前向分布(一步加噪、跳步加噪)都是高斯;高斯之间做乘除/配方后还是高斯。这让 $q(x_{t-1}|x_t, x_0)$ 恰好有闭式——如果前向用别的噪声(拉普拉斯、t-分布),后验就不再闭式,整套推导塌掉。

11.2 反向也能用高斯近似

这是 Sohl-Dickstein (2015) 那篇原始论文证明的事:当每步加噪足够小($\beta_t \to 0$)时,反向 $q(x_{t-1}|x_t)$ 在数学上趋近于一个高斯(即使没有 $x_0$ 条件)。这给了"用 $\mathcal{N}(\mu_\theta, \Sigma_t)$ 参数化 $p_\theta(x_{t-1}|x_t)$"理论合理性。这就是为什么 DDPM 要用 $T = 1000$ 这种大数字——步数越多、每步越小、高斯近似越好。

11.3 KL 损失的拆解恰好和 ELBO 对齐

"让每步 $p_\theta$ 匹配真后验 $q$" 听起来是一个工程目标——但它恰好等于整条链 negative log-likelihood 的 ELBO 上界。这不是巧合,而是变分推断的内在结构使然——所有"分块匹配"思想都能在 ELBO 框架下找到统一解释。这是 DDPM 之所以叫 "probabilistic" 的真正原因,也是它和 GAN 这种"靠对抗博弈训练"的生成模型本质不同的地方:DDPM 训练时每一步都有可证的概率意义,loss 下降必然对应 log-likelihood 上升(在简化前的严格 ELBO 下)。这种"训练目标本身就是数学下界"的特性,让 DDPM 训练异常稳定——没有 GAN 那种"训着训着模式崩塌"的烦恼,也没有 VAE 的"KL 项被淹没"的工程坑。三个礼物加起来,让一个看似简单的"加噪-去噪"循环,最终成为图像生成 SOTA 的根基。

🟡 教材外补充:方差也可以学($\Sigma_\theta$ 而不是固定 $\Sigma_t$)
DDPM 原论文把 $\Sigma_t$ 固定为 $\beta_t I$ 或 $\tilde\beta_t I$,实验上发现两者差距不大。但 Improved DDPM(Nichol & Dhariwal 2021)让网络同时预测 $\Sigma_\theta$(作为 $\beta_t$ 和 $\tilde\beta_t$ 之间的插值系数)——FID 从 3.17 降到 2.94,采样所需步数减少 4 倍。这是反向过程参数化的一个重要扩展,后续章节详谈。
🟡 教材外补充:$x_0$ 参数化(DDPM 的第三种等价形式)
除了"预测 $\mu$"和"预测 $\epsilon$",还有"直接预测 $x_0$"——让网络输出 $\hat x_0 = f_\theta(x_t, t)$。三种参数化在最小化 ELBO 意义上完全等价,但训练动力学不同:$\epsilon$ 参数化在大 t 时信号好(因为 $\epsilon$ 还在);$x_0$ 参数化在小 t 时信号好(因为 $x_0$ 还在)。v-prediction(Stable Diffusion v2 用)干脆把两者插值——是 EDM/Flow Matching 框架下的统一表达。

十二、和 VAE 的对照表(一图看清两者关系)

维度VAEDDPM 反向
Latent 层数1 层($z$)T 层($x_1, \dots, x_T$)
Encoder可学 $q_\phi(z|x)$无参前向 $q(x_t|x_{t-1})$(固定高斯)
Decoder可学 $p_\theta(x|z)$,一次还原可学 $p_\theta(x_{t-1}|x_t)$,T 次小还原
Prior$p(z) = \mathcal{N}(0, I)$$p(x_T) = \mathcal{N}(0, I)$(前向自动达成)
训练目标ELBO(1 个 KL + 1 个重构)ELBO(T 个 KL + 1 个重构)
网络数量2(encoder + decoder)1(共享 U-Net)
输出质量常模糊极锐利(SOTA)
采样成本1 次 forwardT 次 forward(DDIM 可减)

核心差异一句话:VAE 是"压一次、还原一次";DDPM 是"压 T 次(无参)、还原 T 次(可学)"。这是为什么 Vizuara 这门课先教 VAE 再过渡到 DDPM——所有数学骨架都同源,只是把"一步"拉成"T 步"。

十三、源材料原文回顾:DDPM 的诞生

讲师在本讲尾声郑重其事介绍了 DDPM 这篇论文的"江湖地位",原话非常震撼:

「This paper has over 30,000 citations... it is an incredibly popular paper and it gave a new direction to the field of image generation. And this was the paper which was at the heart of creating a revolution in image generation using AI, and you saw a lot of different models like stable diffusion do incredibly well in generating realistic images. The beauty of this paper is that it laid down a framework which gave steps which are straightforward, and it also linked some of the prior works together.」(chunk #18)
「So diffusion models existed before as well, but people had not proven that they could be used to generate realistic images, and this paper showed that yes it can be used for that purpose, and they laid down a recipe which was practical for researchers to implement, and from there on there was no stopping.」(chunk #19)

讲师还特意嘱咐听众:

「I want all of you to also take a printout of this paper and keep it handy.」(chunk #19)

本章的所有数学——$p_\theta(x_{t-1}|x_t)$、$\tilde\mu_t$、$\epsilon$ 换元、ELBO 拆解——都是 Ho et al. 2020 这篇论文里的内容。把这一章吃透,就具备了精读那篇论文的全部前置。

📺 Vizuara《Principles of Diffusion Models》Lecture 3(53:31 处)—— 反向过程 + 训练 KL 目标
📺 Vizuara《Diffusion LM》Lecture 4(开篇)—— "diffusion finds the underlying probability distribution through denoising"

本章要记住的(讲师亲口给的核心)

  1. "Naïve 反向 = 前向的逆运算"不行——前向加的 $\epsilon$ 在加完后丢失了,反向只能"估期望"而非"精确还原"。这是反向必须是统计学习问题、不是代数题的根本原因。
  2. 反向是"a series of decoders with trainable parameters"——讲师 Dr. Raj 反复强调。每一步参数化为条件高斯 $p_\theta(x_{t-1}|x_t) = \mathcal{N}(\mu_\theta(x_t, t), \Sigma_t)$,方差通常固定、只学均值。
  3. Bayes 给出的"作弊神器":在已知 $x_0$ 条件下,$q(x_{t-1}|x_t, x_0)$ 是闭式高斯,均值 $\tilde\mu_t$ 是 $x_0$ 和 $x_t$ 的线性组合。训练目标 = 让 $\mu_\theta$ 匹配 $\tilde\mu_t$,每步是一个 MSE,总和恰好等于 ELBO(不是凑出来的)。
  4. $\epsilon$ 参数化:把 $x_0$ 用跳步公式表达成 $(x_t, \epsilon)$ 后代回 $\tilde\mu_t$,得到 $\mu_\theta = \frac{1}{\sqrt{1-\beta_t}}(x_t - \frac{\beta_t}{\sqrt{1-\bar\alpha_t}}\epsilon_\theta)$。网络改成预测 $\epsilon$ 后,loss 简化成纯噪声 MSE——下一章 $L_\text{simple}$ 的雏形。
  5. U-Net + sinusoidal time embedding:一个网络覆盖所有 T 步,$t$ 通过 sinusoidal embedding 注入。架构细节第 9 章详谈。
  6. Tweedie 直觉:"网络看穿噪声"不是魔法——它在统计意义上等价于估计 score function $\nabla_{x_t} \log q(x_t)$,把数据分布的对数梯度场学进了参数。详见第 10 章。
  7. 训练 vs 采样:训练 10 行(采 t、合成 $x_t$、MSE);采样 T 步循环(每步一次 U-Net forward)。训练不需要跑反向链——这是 DDPM 训练快的秘密。