第 16 章 · Module 5: 采样、引导与应用

DDIM:去掉随机性的采样器

为什么 DDIM 又快又好。


16. DDIM:去掉随机性的采样器

主源:CMU 10799 S26 Lecture 11(Luma AI Linqi (Alex) Zhou 客座讲);副源:CMU 10799 S26 Lecture 7(Guidance)、Lecture 10(Distillation & Flow Maps)。

📌 TL;DR

DDIM = 去掉随机性的 DDPM 采样器(Song, Meng, Ermon 2021)。它不重新训练模型,只是把 DDPM 的随机反向链改写成一个确定性的递推,使 1000 步采样能压缩到 50 步、20 步甚至 10 步而几乎不掉质量。

$$x_{t-1} \;=\; \sqrt{\bar\alpha_{t-1}}\,\tilde x_0(x_t,\epsilon_\theta) \;+\; \sqrt{1-\bar\alpha_{t-1}-\sigma_t^2}\,\epsilon_\theta(x_t,t) \;+\; \sigma_t\,\epsilon$$

三个观察撑起全章:

  • 训练目标只看 marginal $q(x_t|x_0)$——很多前向过程共享同一条 marginal,DDPM 是其中"最随机"的一条,DDIM 是"最确定"的一条。
  • $\sigma_t=0$ → 完全确定性,这就是 PF-ODE 的 Euler 解;$\sigma_t$ 取 DDPM 那个特殊值 → 退化回 DDPM。两者中间用一个旋钮 $\eta\in[0,1]$ 插值。
  • 因为是 ODE,可以跨大步走。1000→999→…→0 改成 1000→980→…→0(50 步),10× 加速,质量稳。

为什么把这章放在 Module 5 开篇?因为 DDIM 是采样侧所有改进的起点——它把 DDPM 从"随机过程"翻译成"ODE 上的轨迹",后面 DPM-Solver、Flow Matching、Consistency Model(第 15 章)全部站在 DDIM 这条 ODE 视角上。课程里 Lecture 7、10、11 三个独立讲座都把它当成"前置知识"反复回顾——它就是整门课的采样基石。

一、为什么 DDPM 慢?先把"慢"这件事拆开

Alex Zhou 在 Lecture 11 开场就把问题摆正了:

"To think about efficient inference, we first need to look at what makes diffusion inference slow. … our diffusion model essentially solves an ODE at inference time, which requires the inference loop to take infinitesimal jumps. But what we actually want for one- or few-step generation is that we want our model to be able to perform large jumps in time instead of infinitesimal jumps."

把这段话翻译成中文教材语言:

  1. DDPM 推理 = 解一个 ODE/SDE。第 11 章我们已经证明了,DDPM 的反向链对应一个 probability flow ODE。求解 ODE 的标准做法是 欧拉法(Euler method)——每步取一个小步长 $\Delta t$,往前推。
  2. DDPM 的"步长"非常小:训练时定 $T=1000$,于是每步 $\Delta t = 1/1000$。这是训练侧定的步长,推理侧默认沿用——所以要走 1000 次神经网络 forward。
  3. 真正想要的:少几步——"large jumps"——但质量不掉。这个"大跨步"在 SDE 上做不到(噪声会爆),在 ODE 上有可能做到(Euler 在光滑场上可以放大步长)。

这"1000 步"听起来抽象,落到产品里就是响应延迟。一个 1024×1024 的 Stable Diffusion 在 RTX 4090 上,单次 forward 大约 30 ms。1000 步 = 30 秒;50 步 = 1.5 秒。前者用户必然流失,后者刚好在"等不及但可接受"的临界点上。学术论文里 1000 步是"无所谓"的训练超参,工业产品里 1000 步就是不能用。所以"如何压缩采样步数"在 2021 年成了整个 diffusion 社区最热的问题。

所以本章的核心问题可以一句话写下来:

能不能不重新训练 $\epsilon_\theta$,只改采样规则,就把 1000 步压到 50 步?

DDIM 给出的回答是:能,而且只需要一行公式。这一行公式之所以能成立,依赖一条几乎令人难以置信的观察:训练损失根本不关心"模型在每一步看到的中间噪声样本"长啥样。把这件事讲清楚是下一节的任务。

⚠️ 一个非常容易踩的误解:很多人第一次听到 DDIM 以为它是"另一个模型"。不是!DDIM 用的 $\epsilon_\theta(x_t,t)$ 就是 DDPM 训出来的那个网络,权重一字不改。DDIM 只改采样循环,所以你下载任何一个 DDPM 权重,立刻就能换上 DDIM 采样器跑 50 步——这就是为什么它在 2021 年发布后几乎所有开源 diffusion 代码默认采样器都改成了 DDIM。

二、关键洞察:训练损失只锁住 marginal,不锁住链

这是 DDIM 论文最精妙、也最容易被一笔带过的一步。

回忆 DDPM 的训练目标(第 7 章):

$$\mathcal{L}_\text{simple} \;=\; \mathbb{E}_{t,\,x_0,\,\epsilon}\!\left[\big\|\epsilon - \epsilon_\theta(x_t,t)\big\|^2\right],\quad x_t=\sqrt{\bar\alpha_t}\,x_0+\sqrt{1-\bar\alpha_t}\,\epsilon$$

留意一件事:训练时我们只用 $x_0$ 和 $x_t$,根本不需要中间的 $x_1,\dots,x_{t-1}$。换句话说,损失只依赖边缘分布

$$q(x_t|x_0) \;=\; \mathcal{N}\!\big(\sqrt{\bar\alpha_t}\,x_0,\;(1-\bar\alpha_t)\,I\big)$$

而不依赖"哪条前向链通向这个 $x_t$"。

💡 核心 insight(DDIM 论文 §3):满足这同一组 marginal 的前向过程不只一个。DDPM 那条"独立加噪的 Markov 链"只是其中一条。只要换一条共享同样 marginal、但反向是确定性的前向过程,训练好的 $\epsilon_\theta$ 就可以直接复用——因为损失里看到的"$x_0,x_t$"分布根本没变。

这就是 DDIM 的"魔术":

  • 训练完全照搬 DDPM;
  • 采样换一条新轨迹;
  • 损失没变 → 模型没变 → 上线不用重训。

这种思路在论文里被表述为"非 Markov 前向过程(non-Markovian forward process)"。听起来高深,本质就是上面这件事:marginal 不动、链可以换。

打一个不太严谨但很顺手的类比:你考研复习时,老师只关心你期末卷子上写下来的每一题答案是否正确,不关心你是用"先打草稿再誊抄"还是"直接动笔"的方法写出来的。"答案"在这里就是 marginal $q(x_t|x_0)$,"过程"就是前向链。DDPM 是"独立加噪、一步一步推"的复习方式,DDIM 是"一口气直接跳到答案"的复习方式——两者卷面分数(损失)一模一样。

🎯 这一节为什么重要:它解释了为什么"DDIM 不重训"是合法的,而不是经验上的"碰巧好用"。如果不理解 marginal vs 链 的区别,你会一直困惑"既然采样过程变了,凭什么不重训?"——这是一个反直觉但严格成立的事实。后面 Flow Matching、Score SDE 都依赖这种"边缘等价、过程自由"的观点。

三、DDIM 更新公式:一行三块拼装

DDIM 论文最终给出的反向更新长这样(这是整章最重要的公式):

$$\boxed{\;x_{t-1} \;=\; \underbrace{\sqrt{\bar\alpha_{t-1}}\,\tilde x_0(x_t,\epsilon_\theta)}_{\text{① 朝预测的干净图走}} \;+\; \underbrace{\sqrt{1-\bar\alpha_{t-1}-\sigma_t^2}\,\epsilon_\theta(x_t,t)}_{\text{② 加回"恰当量"噪声}} \;+\; \underbrace{\sigma_t\,\epsilon}_{\text{③ 额外随机扰动}}\;}$$

其中那个反复出现的 $\tilde x_0$ 是x0 预测(第 8 章已经推过):

$$\tilde x_0(x_t,\epsilon_\theta) \;=\; \frac{x_t - \sqrt{1-\bar\alpha_t}\,\epsilon_\theta(x_t,t)}{\sqrt{\bar\alpha_t}}$$

这一公式的三块乍看眼花,但每一块都对应一个物理动作,看清楚就拆穿了。

3.1 拆块 ①:朝"模型心中的干净图"走一段

Lecture 7 里讲师用最朴素的话讲过 DDIM 的过程:

"We get a predicted clean image or clean image estimation from that time step. And instead of going back to t minus one, we go back to t minus 10 instead so that we can skip steps."

每一步 DDIM 先用 $\epsilon_\theta$ 估计当前 $x_t$ 对应的"干净图猜测"$\tilde x_0$,再把这个 $\tilde x_0$ 按 $\sqrt{\bar\alpha_{t-1}}$ 缩放——意思就是"把 $\tilde x_0$ 加噪到 $t-1$ 时刻该有的强度"。

3.2 拆块 ②:补回"$t-1$ 时刻还该残留的噪声"

到了 $t-1$ 时刻,按 marginal 公式 $x_{t-1}=\sqrt{\bar\alpha_{t-1}}x_0+\sqrt{1-\bar\alpha_{t-1}}\epsilon$,还应该带有一个 $\sqrt{1-\bar\alpha_{t-1}}$ 强度的噪声。但我们已经在第 ③ 块用了 $\sigma_t$ 强度的纯随机噪声,剩下的差额 $\sqrt{1-\bar\alpha_{t-1}-\sigma_t^2}$ 就由原噪声方向 $\epsilon_\theta$ 来补——它恰好方差对得上。

3.3 拆块 ③:随机性旋钮 $\sigma_t$

这是 DDIM 的"灵魂参数"。改变 $\sigma_t$ 就改变采样器的"随机程度",但marginal 始终保持。后面我们会看到,$\sigma_t=0$ 给出最简洁、最有用的形式。

把三块拼起来再看一眼:第 ① 块决定"目标方向"(朝模型对干净图的猜测前进),第 ② 块"配重"——把 marginal 该有的噪声量补够,第 ③ 块"加扰"——选择多大程度让链回到随机过程。前两块是必须的(决定 marginal 对齐),第三块是可选的(决定确定性 vs 随机性)。读者后续在论文里看到 $\sigma_t$ 出现在各种地方,都可以回到这三块拆解:你是想让 marginal 对齐?那就调前两块;你是想加随机?那就调第三块。

📝 记号小提示:很多文献用 $\eta\in[0,1]$ 作为人类友好的旋钮,定义 $$\sigma_t(\eta) \;=\; \eta\sqrt{\tfrac{1-\bar\alpha_{t-1}}{1-\bar\alpha_t}}\,\sqrt{1-\tfrac{\bar\alpha_t}{\bar\alpha_{t-1}}}$$
  • $\eta=0$ → $\sigma_t=0$ → 确定性 DDIM;
  • $\eta=1$ → $\sigma_t$ 取 DDPM 原值 → 退化为 DDPM;
  • $0<\eta<1$ → 介于两者之间。
HuggingFace diffusers 的 DDIMScheduler 默认 $\eta=0$,就是确定性版本。

四、两个极端:$\sigma_t=0$ 和 $\sigma_t=\sigma_t^\text{DDPM}$

4.1 $\sigma_t=0$:完全确定性

把 $\sigma_t=0$ 代入更新公式,第三块消失:

$$x_{t-1} \;=\; \sqrt{\bar\alpha_{t-1}}\,\tilde x_0(x_t,\epsilon_\theta) \;+\; \sqrt{1-\bar\alpha_{t-1}}\,\epsilon_\theta(x_t,t)$$

没有 $\epsilon$,没有 randn,从 $x_T$ 到 $x_0$ 整条轨迹完全由 $x_T$ 决定。同一个 $x_T$ 喂两次,会得到一模一样的图像。

💡 关键事实(第 11 章已经埋过伏笔):这条确定性更新就是 PF-ODE 的 Euler 步。也就是说,确定性 DDIM ≡ 在 probability flow ODE 上做 Euler 积分。这一等价是后续 DPM-Solver / Heun / Runge-Kutta 等"更高阶 ODE 求解器"的入口——只要把 Euler 换成更高阶的求解器,就能在更少步数下达到同样精度。

4.2 $\sigma_t$ 取 DDPM 值:等同 DDPM

当 $\sigma_t=\sqrt{(1-\bar\alpha_{t-1})/(1-\bar\alpha_t)}\cdot\sqrt{1-\bar\alpha_t/\bar\alpha_{t-1}}$ 时,更新公式化简后恰好是 DDPM 的反向链。DDIM 论文证明:在这条 $\sigma$ 取值上,第二块的系数 $\sqrt{1-\bar\alpha_{t-1}-\sigma_t^2}$ 配上第三块的 $\sigma_t\epsilon$,重新组合后回到原 DDPM。所以——

DDPM 是 DDIM 家族中"最随机"的那一个;DDIM($\eta=0$)是"最确定"的那一个;两者之间用 $\eta$ 自由拨。

这一句话非常值得反复咀嚼。它意味着:DDPM 不是一个独立的方法,而是 DDIM 这个更广采样器家族里一个特例。从历史叙述角度看,Ho 等人 2020 年提的 DDPM 在 Song 等人 2021 年提出 DDIM 之后被"重新解读"——原来你这个所谓"随机扩散过程"只是参数 $\eta=1$ 的特殊选择,真正自由的旋钮在我手里。这种"原方法是新方法的特例"的叙述在科研里是非常强的论文卖点,DDIM 论文就是凭这个 framing 一举占领整个采样侧领域。

五、为什么这个改动能"快"?ODE 的几何视角

前两节都是公式。这一节用一张图打通直觉。

把 $x_T\sim\mathcal{N}(0,I)$ 看作右端"先验云",$x_0\sim p_\text{data}$ 看作左端"数据云"。DDPM 与 DDIM 在两者间画两条性质完全不同的轨迹:

x₀(数据云) x_T(先验 𝒩(0,I)) DDPM:抖动的随机路径(步小才稳) DDIM(η=0):光滑 ODE 轨迹(可大步跨) 只用 5 个采样点也能近似

看图就明白:

  • DDPM 路径剧烈抖动。因为每步都注入随机噪声,路径在 $x_t$ 空间里像布朗运动。用大步长走,噪声方差和步长成正比但梯度变化也大,所以必须用细步长才不爆。
  • DDIM 路径光滑可微。因为是 ODE 解,本地有 Lipschitz 性质,Euler 法在大步长下误差仍可控。所以 1000 → 50 几乎免费。

另一个观察很重要:两种采样路径在终点 $x_0$ 处的分布是一样的(marginal 相等是 DDIM 论文的核心保证),但每条具体样本不同。DDPM 同一个 $x_T$ 跑两次,因为每步注入独立噪声,得到两张不同的图;DDIM ($\eta=0$) 同一个 $x_T$ 跑两次,得到完全相同的图。这条性质对"采样多样性"和"采样可重现性"是一对此长彼消的取舍:DDPM 多样但不可重现,DDIM 可重现但多样性窄。这点在产品里很关键——做 art generation 偏好多样,做 image editing / 论文 reproduce 偏好可重现。

📐 类比:开车从北京到上海。DDPM 像在风暴里开(路径剧烈抖),必须每 100 米踩一次刹车;DDIM 像晴天高速(路径平直),每 50 公里调一次方向就够。终点一样,时间天差地别。

六、跳步采样:DDIM 真正的"快"

更新公式没有规定 $t-1$ 必须是 $t$ 的下一格。完全可以把"下一格"改成"下 10 格":选一个稀疏子序列 $\tau_1<\tau_2<\dots<\tau_S$(比如 $\{0,20,40,\dots,1000\}$, $S=50$),然后采样按这个子序列走。

更新公式只需把 $t-1$ 换成 $\tau_{i-1}$,$t$ 换成 $\tau_i$,$\bar\alpha$ 用对应的:

$$x_{\tau_{i-1}} \;=\; \sqrt{\bar\alpha_{\tau_{i-1}}}\,\tilde x_0 \;+\; \sqrt{1-\bar\alpha_{\tau_{i-1}}-\sigma^2}\,\epsilon_\theta(x_{\tau_i},\tau_i) \;+\; \sigma\,\epsilon$$ DDPM: T = 1000 步,全部串起来走 DDIM: 只在子序列上落点(这里画 10 步),跨大步

常用的 $S$ 取值(Stable Diffusion 默认):

  • 50 步:质量已经接近 1000 步 DDPM,肉眼几乎无差别。这是 Stable Diffusion 1.x 默认值。
  • 20–25 步:略微掉细节,但加速 40–50 倍,多数 demo 用这个。
  • 10 步:开始出现明显伪影,但仍勉强可用。
  • < 5 步:DDIM 本身已撑不住,这是后续 Consistency Model(第 15 章)/ Distillation(第 17 章)登场的原因。
⚠️ 跳步不是免费的:跳得越大,每一步的 Euler 误差越大。当 $S$ 太小(比如 $S=4$),$\epsilon_\theta$ 在大跨度上"看不到"轨迹的曲率,结果是图像变模糊或出现纹理。Alex 在 Lecture 11 把这个现象明确命名为 "DDIM 的 capacity problem"——单步 DDIM 本质上是 $x_t$ 和模型预测 $\tilde x_0$ 之间的线性插值,没法表达更弯曲的 ODE 真实轨迹。后面第 15 章的 Consistency / Flow Map 就是为了解决这个 capacity 限制。

关于"如何选择跳步子序列",有两种常见做法:

  • 线性子序列(uniform):$\tau_i$ 等间距,比如 0, 20, 40, …, 1000。最简单,效果稳定,HuggingFace 默认。
  • 二次子序列(quadratic):$\tau_i \propto i^2$,前期密、后期疏。理由是 $x_t$ 接近 $x_0$(小 $t$)时图像细节多,需要更密的步长。DDIM 原论文实验上 quadratic 略好,但差距不大。

实际项目里,能省心就用线性。除非你训了非标准 schedule(如 cosine 或 v-prediction)需要特殊处理。

七、单步 DDIM 的"容量上限"——线性插值视角

这一节把 Alex 在 Lecture 11 第 11 分钟的关键图讲清楚,因为它是整门课从 DDIM 跳到 Flow Map / Consistency 的桥梁。

"Given an initial point $x_t$, our one-step DDIM is basically an interpolation between the initial point and your model predicted point. … This means that naive DDIM is severely limited in representing any function of S that's more complex than just linear relationship. … I like to term this the capacity problem of DDIM."

怎么理解"线性插值"?把确定性 DDIM 公式整理一下:

步骤 1:代入 $\tilde x_0=(x_t-\sqrt{1-\bar\alpha_t}\,\epsilon_\theta)/\sqrt{\bar\alpha_t}$。 Why:把"对干净图的猜测"显式写出来。
步骤 2:合并同类项,写成"$x_t$ 系数 + $\epsilon_\theta$ 系数"。 $$x_s \;=\; \underbrace{\sqrt{\tfrac{\bar\alpha_s}{\bar\alpha_t}}}_{a(s,t)}\,x_t \;+\; \underbrace{\Big(\sqrt{1-\bar\alpha_s}-\sqrt{\tfrac{\bar\alpha_s}{\bar\alpha_t}(1-\bar\alpha_t)}\Big)}_{b(s,t)}\,\epsilon_\theta(x_t,t)$$ Why:这一形式表明,给定 $x_t$ 和模型输出 $\epsilon_\theta$,$x_s$ 是关于 $x_t$ 和 $\epsilon_\theta$ 的线性组合,系数只依赖 $s,t$ 这对时间。
步骤 3:换个等价视角——单步 DDIM 等价于沿着"$x_t$ → 模型预测的干净图 $\tilde x_0$"这条线段,按 $s$ 决定的比例走一段。 Why:因为 $a(s,t),b(s,t)$ 满足 $a^2(1-\bar\alpha_t)+b^2$ 等于 $\sqrt{\bar\alpha_s/\bar\alpha_t}$ 与 $\sqrt{1-\bar\alpha_s}$ 加权后恰好对应"$x_t$ 和 $\tilde x_0$ 的凸组合"。 代价:模型只能学到"沿直线移动"——但真实 ODE 轨迹是弯的。
单步 DDIM:把弯的 ODE 拍直 真实 ODE(弯) 单步 DDIM 走的"直线" x_t $\tilde x_0$(模型预测) → 多步 DDIM 用很多短直线段拼出曲线(步多→拟合好)

这张图的教学含义是无价的:

  1. 每一步 DDIM 都是 $x_t \to \tilde x_0$ 这条线段上的一个点;
  2. 多步 DDIM = 一系列短线段串成的折线,去逼近真实弯曲的 ODE;
  3. 步数越多,折线越贴近曲线 → 质量越好;
  4. 但一步 DDIM 无论怎么训,本质上是"直线",永远拟合不出真实的弯曲 ODE——这就是 capacity 上限。
🟡 教材外补充:DDIM 的 capacity problem 直接催生了后续半门课的内容。
  • Consistency Model(第 15 章):直接把"单步 = 直线"这一限制取消,让网络显式学习跨大步的映射 $f(x_t,t)\to x_0$。代价是要重新训练。
  • Flow Map / TBM(Luma AI 内部模型,Lecture 10–11 主题):在网络里同时注入起始时刻 $t$ 和终止时刻 $s$,使一次 forward 能表达"从 $t$ 到 $s$"的任意弯曲段,突破线性插值上限。Alex Zhou 在 Lecture 11 演讲的核心就是这一点。
  • DPM-Solver / Heun / RK4:保留 DDIM 训练,但把 Euler 一阶 step 换成更高阶 ODE 求解器,用更准的曲线拟合,而不是更多直线段。
所以你看:DDIM 自己是 2021 年的工作,但它定义了后续 5 年的研究方向。

八、DDIM Inversion:把图像"反推"成它的种子噪声

确定性 DDIM 还有一个免费赠送的强力工具:DDIM inversion。

注意确定性 DDIM 是一个可逆的映射 $x_T \leftrightarrow x_0$。如果我们能从 $x_T$ 走到 $x_0$,那反过来——给我一张真实图 $x_0$,我们能不能找到产生它的那个 $x_T$?

答案:能。把 DDIM 的更新公式反过来求解 $x_t$ 关于 $x_{t-1}$ 的关系:

$$x_t \;\approx\; \sqrt{\bar\alpha_t}\,\tilde x_0(x_{t-1},\epsilon_\theta) \;+\; \sqrt{1-\bar\alpha_t}\,\epsilon_\theta(x_{t-1},t-1)$$

注意这是"近似反向",因为这里我们用 $\epsilon_\theta(x_{t-1},\cdot)$ 代替了理论上应该是 $\epsilon_\theta(x_t,\cdot)$——但在小步长下两者近似相等,所以可行。

这一过程有什么用?

  • 真实图编辑:把照片 inversion 到 $x_T$,再加 prompt 引导,DDIM 走回去得到"在原图基础上做修改"的结果。这是 Prompt-to-Prompt、Null-text Inversion、SDEdit、InstructPix2Pix 这一系列论文的核心算法。
  • 风格迁移:把图 A inversion 到噪声、再用 prompt B 走回,得到 A 的内容 + B 的风格。
  • 真实图作为种子的可重现采样:固定 $x_T$ 后,DDIM 是函数,可以做 A/B 测试。
💡 为什么 DDPM 没有 inversion?因为 DDPM 每一步注入新随机噪声 $\epsilon$,反向时无法恢复——你不知道当时具体抽到了哪个 $\epsilon$。只有去掉了随机性的 DDIM,反向才有定义。这也是为什么本章标题强调"去掉随机性"——可逆性是 $\sigma_t=0$ 的隐性礼物。

九、DDIM 在 Guidance 里的双重角色

Lecture 7(Guidance)反复提到 DDIM,并不是把它当成"采样器",而是当成"能在每步给出干净图估计的工具"。讲师亲口讲过一段对话:

"Um, I have an idea." "Okay, let's go." "I recall that we earlier showed that we could estimate $X_0$ from $X_T$. $X_0$ will have a lot less noise than $X_T$. Maybe we could feed $X_0$ to the classifier."
"Perfect answer. This is exactly what we're going to do. Remember how we do DDIM? At each time step of DDIM, we can actually have a clean data estimation from those noisy time steps."

这就是 DPS(Diffusion Posterior Sampling)和 LGD(Loss-Guided Diffusion)的核心技巧:

  1. 在 DDIM 每一步用 $\tilde x_0(x_t,\epsilon_\theta)$ 拿到"干净图估计";
  2. 把这个估计喂进 off-the-shelf 分类器(或任意任务模型);
  3. 反传得到一个梯度 $\nabla_{x_t}\mathcal{L}(\tilde x_0,\text{condition})$;
  4. 用这个梯度修正下一步 $x_{t-1}$,把生成"拉"向 condition。

这里 DDIM 不再是"加速器",而是"提供干净图估计的窗口"——它的 $\tilde x_0$ 公式是几乎所有 guidance 算法的依赖。

另一个有趣的应用是 SDEdit/SDXL Refiner 风格的"中途启动":

"You start by going back some noise … and then you just continue on DDIM as normal. … We don't need to go back all the way to the beginning anymore. We just start from the middle of the diffusion."

这种"从中途时刻 $t所有这些都建立在 DDIM 的确定性反向链上。

十、超越线性插值:从 DDIM 到"两时刻 DDIM"

这一节把 Lecture 11 后半段 Alex 介绍的"如何修复 capacity problem"思路讲完。它不是 DDIM 本身的内容,但是讲师在引入 DDIM 时就立刻提到的"后续路线",体现了课程怎么把 DDIM 当成"基线"使用。

核心修补:让网络同时接收起始时刻 $t$ 和终止时刻 $s$——以前网络只看 $t$,现在看 $(t,s)$。这一改动让单步映射不再被锁在直线上。Alex 原话:

"A simple fix for this capacity issue is just to inject S into the network. … A single call of DDIM, if you inject both T and S into the network, can now cover pretty complex solutions such as OD integrals. … Before, the end points used to be a fixed linear interpolation, but now the endpoint can actually slide along this OD integral."

翻译过来:

  • 原 DDIM:网络是 $\epsilon_\theta(x_t, t)$。给定 $x_t$ 和 $t$,输出方向唯一。然后用 DDIM 公式按 $s$ 比例插值——所以"终点"只能在直线上。
  • 两时刻 DDIM:网络是 $f_\theta(x_t, t, s)$。给定 $(t,s)$,网络可以输出不同的方向——把"从 $t$ 到 $s$"的整段曲线压成一次 forward。终点可以沿真实 ODE 曲线滑动。

有了这层改造,再配合一个叫 inductive learning 的训练目标,就能教网络逐步学会"任意两时刻间的映射"。Alex 在 Lecture 11 中段花了 10 分钟讲这个 inductive 训练过程:

  1. Base case:当 $t=s$,网络必须输出 identity 映射。讲师强调"这是 DDIM 的一个特殊性质"——DDIM 公式中当 $s=t$ 时三块化简为 $x_s=x_t$,对任何 $\theta$ 成立,包括未训练的 $\theta$。所以 base case 是"免费"的。
  2. Induction step:用某个中间时刻 $r$ 作为"教师"——$Q_r$ 离 $Q_s$ 已经很近,让网络学会"从 $Q_r$ 走到 $Q_s$"比直接从 $Q_t$ 跳到 $Q_s$ 容易得多。然后用归纳法逐步推到更远的 $t$。

这种"近距离教远距离"的训练 paradigm,是后来 Consistency Model / Flow Map / TBM 等 1-step 模型的共同底层逻辑。Alex 把它形象地描述为"让 $Q_r$ 慢慢往 $Q_s$ 滑动,使学生模型分布也慢慢往 $Q_s$ 滑动"。

💡 关键启发:DDIM 本身没解决 capacity problem,但它提供了解决问题所需的所有零件——确定性反向、可解析的 $\tilde x_0$、$t=s$ 时的 identity 保证。所以"在 DDIM 之上加 capacity"就成了未来 5 年 few-step / one-step diffusion 的主线。从这个角度看,第 16 章不只是讲 DDIM 这个采样器,而是讲整条采样侧研究的发源地。

十一、DDIM ↔ Flow Matching:是同一回事吗?

Lecture 11 的标题就是"Diffusion & Flow Matching"。Alex 在演讲里反复强调一句话:

"DDIM … reduces to Euler sampler in a flow-matching schedule."

翻译:在 Flow Matching 的线性插值噪声调度(rectified flow $x_t=(1-t)x_0+t\epsilon$)下,DDIM 的确定性更新公式退化为 Flow Matching 的 Euler 采样步。

这一等价意味着:

  • DDIM 不是 DDPM 专属——它是所有 ODE 形式生成模型的通用 Euler 采样器;
  • 在 Flow Matching 下叫"Euler sampler",在 DDPM 下叫"DDIM",两者是同一个东西穿了不同衣服;
  • 所以 Stable Diffusion 3 / SD-Turbo 等 Flow Matching 模型用"Euler sampler"就够了,无需引入"DDIM"这个新名词;但用户层面,习惯仍然把它叫 DDIM。
🧬 历史小注:Song & Ermon 在 2021 年提出 DDIM 时,还没有人把它跟 ODE 显式联系起来。直到 Score SDE 论文(Song et al. 2021)和 Flow Matching 论文(Lipman et al. 2023)出来后,社区才意识到这一切是同一棵树上的分支。Alex 在 Lecture 11 也提到 DDIM 的发明者 Jiaming Song 现在是 Luma AI 的首席科学家——"DDIM 的导师"。

十二、PyTorch 实现骨架(最小可跑版)

下面是 50 步确定性 DDIM 的最小实现。模型 eps_theta 假定已经用 DDPM 损失训好。

import torch

@torch.no_grad()
def ddim_sample(eps_theta, shape, num_steps=50, eta=0.0,
                betas=None, device="cuda"):
    """
    Deterministic DDIM (eta=0) sampling from a DDPM-trained eps_theta.
    eps_theta: nn.Module, eps_theta(x_t, t) -> predicted noise
    betas:     full DDPM beta schedule of length T (e.g. T=1000)
    """
    T = len(betas)
    alphas = 1.0 - betas
    alphas_bar = torch.cumprod(alphas, dim=0).to(device)   # \bar\alpha_t

    # 1) Pick a sub-sequence of timesteps (uniform spacing)
    step_idx = torch.linspace(0, T - 1, num_steps + 1, dtype=torch.long).to(device)
    step_idx = step_idx.flip(0)   # T-1, ..., 0

    # 2) Start from prior noise
    x = torch.randn(shape, device=device)

    for i in range(num_steps):
        t      = step_idx[i]
        t_prev = step_idx[i + 1]

        a_t      = alphas_bar[t]
        a_prev   = alphas_bar[t_prev] if t_prev >= 0 else torch.tensor(1.0, device=device)

        # ----- predict noise -----
        eps = eps_theta(x, t.expand(shape[0]))

        # ----- predict x0 (Tweedie / x0-prediction) -----
        x0_pred = (x - (1 - a_t).sqrt() * eps) / a_t.sqrt()

        # ----- DDIM sigma (controlled by eta) -----
        sigma = eta * ((1 - a_prev) / (1 - a_t)).sqrt() * (1 - a_t / a_prev).sqrt()

        # ----- direction pointing to x_t -----
        dir_xt = (1 - a_prev - sigma ** 2).clamp(min=0).sqrt() * eps

        noise  = sigma * torch.randn_like(x) if eta > 0 else 0.0

        x = a_prev.sqrt() * x0_pred + dir_xt + noise

    return x

把 num_steps=50, eta=0 设上,这就是 Stable Diffusion 1.x 时代最经典的采样器。换成 eta=1 就是 DDPM。num_steps 拨到 20、10 测速,肉眼对照质量。

🛠️ 三个工程细节,看代码时容易跳过:
  1. step_idx.flip(0):从大到小遍历,符合"反向去噪"方向。
  2. (1 - a_prev - sigma ** 2).clamp(min=0):极少数边界情况会算出微小负值(浮点误差),clamp 防 NaN。
  3. a_prev = 1.0 当 $t_\text{prev}=-1$ 时:最后一步走到 $x_0$,对应 $\bar\alpha_0=1$。

十三、把 DDIM 放回整门课的地图

这是整门课讲师在 Lecture 7、10、11 反复回顾 DDIM 的原因——它不是一个孤立的采样器,而是下游一整片技术的前置条件:

  • 第 11 章 PF-ODE:DDIM 是 PF-ODE 的 Euler 解 ← 本章基础。
  • 第 13 章 DPM-Solver:把 DDIM 的 Euler 一阶升级为更高阶。
  • 第 14 章 SDE Solver:留住一定的随机性($\eta>0$)以提升多样性。
  • 第 15 章 Consistency Model:突破单步 DDIM 的 capacity 上限,用网络直接学跨大步的映射。
  • 第 17 章 Distillation:在 DDIM 轨迹上做"老师→学生"蒸馏,让学生 1 步追上老师 50 步。
  • 第 18 章 Latent Diffusion / SDXL:默认采样器就是 DDIM。
  • 第 19 章 Guidance / DPS:每步用 DDIM 的 $\tilde x_0$ 作为分类器输入 ← 本章 §9。
  • 第 20 章 Inversion / Editing:基于 DDIM inversion 的真实图编辑全家桶 ← 本章 §8。

如果你只允许带一个采样器去荒岛,那就是 DDIM。

📺 CMU 10799 S26 Lecture 11(9:36 处)—— Linqi (Alex) Zhou:DDIM 的 "interpolation" 视角 & capacity problem

十四、常见疑问 FAQ

14.1 DDIM 比 DDPM 质量更差吗?

同步数下几乎无差别。论文实验:1000 步 DDPM 和 1000 步 DDIM ($\eta=0$) FID 差距在噪声水平内。DDIM 真正的"价值"在少步数下不掉:50 步 DDIM ≈ 1000 步 DDPM,但 50 步 DDPM 就明显糊掉了。

14.2 DDIM 用 $\eta=1$ 真的等于 DDPM 吗?

采样轨迹的分布等价。具体每条样本不等,因为 $\epsilon$ 是独立采的。但 $x_T$ 到 $x_0$ 的边缘分布完全一样。

14.3 DDIM 多样性比 DDPM 差吗?

会差一点。$\eta=0$ 时,$x_0$ 完全由 $x_T$ 决定,所以多样性来源只是初始 $x_T$ 的随机。DDPM 每步还注入新随机,所以"全局多样性"略大。实践中:如果你做 art/创意 → 用 $\eta=0.5$ 或 $\eta=1$(多样性优先);做 image editing 或可重现实验 → 用 $\eta=0$(一致性优先)。

14.4 为什么 SD 默认就是 DDIM 而不是 DDPM?

因为50 步 vs 1000 步差 20 倍速度。在产品里这是用户体验上的天壤之别。

14.5 DDIM 跟 Consistency Model 有什么区别?

简单一句话:

  • DDIM = 多步确定性采样器,不重训模型。
  • Consistency Model(第 15 章)= 单步采样器,需要专门训练。Alex 在 Lecture 11 把 DDIM 称为 CM 的"线性插值上限版本"——CM 是把这一上限抬掉。

14.6 DDIM 训练时要做特殊处理吗?

不需要。这是 DDIM 的最大优点之一。你拿任何标准 DDPM 训练流程(MSE 损失、$\epsilon_\theta$ 参数化、cosine 或 linear 调度)训出的模型,都能直接换 DDIM 采样器用。这一点也是 DDIM 被工业界迅速接受的原因——没有迁移成本。

14.7 我可以混合 DDIM 和 DDPM 吗?比如前 800 步用 DDIM、后 200 步用 DDPM?

理论上可以——只要换 $\eta$ 即可。但实际上很少这么做。一种常见变体是动态 $\eta$:高噪声段用 $\eta=0$(确定地把 $x_T$ 推向数据流形)、低噪声段用 $\eta>0$(注入扰动以增加多样性)。Karras 的 EDM 论文(2022)系统研究了这类"churn" 技巧,但对一般用户而言纯 $\eta=0$ DDIM 已经够好。

本章要记住的(讲师亲口给的核心)

  1. DDIM 不改模型,只改采样。任何 DDPM 权重 + 一个新循环就能跑——10×–50× 加速。
  2. 关键洞察:训练损失只锁 marginal $q(x_t|x_0)$,不锁链。所以可以换一条共享 marginal、但反向确定的非 Markov 链。
  3. 核心公式三块:朝预测的 $\tilde x_0$ 走 + 补回适当噪声 + 可选随机扰动 $\sigma_t\epsilon$。$\eta\in[0,1]$ 是随机性旋钮。
  4. $\eta=0$ ↔ PF-ODE 的 Euler 解。这是它跨大步不爆的根本原因(Alex:DDIM "reduces to Euler sampler in a flow-matching schedule")。
  5. 跳步采样:1000 → 50 几乎免费,10 仍可用,<5 撑不住。撑不住的根源是"单步 DDIM = 线性插值"——这就是 Alex 命名的 capacity problem。
  6. DDIM Inversion 是确定性的隐性礼物。可逆性 ⇒ 真实图能反推回 $x_T$ ⇒ 编辑、风格迁移、SDEdit、ControlNet refiner 的算法底座。
  7. Guidance 依赖 DDIM 的 $\tilde x_0$ 公式。DPS / LGD / classifier guidance 在每一步用 $\tilde x_0$ 作为干净图入口。
  8. 这是整门课 Module 5 的基石。后面 DPM-Solver、Consistency Model、Distillation、Latent Diffusion、Inversion-based editing 全部站在 DDIM 这张地图上。