DDIM:去掉随机性的采样器
为什么 DDIM 又快又好。
16. DDIM:去掉随机性的采样器
主源:CMU 10799 S26 Lecture 11(Luma AI Linqi (Alex) Zhou 客座讲);副源:CMU 10799 S26 Lecture 7(Guidance)、Lecture 10(Distillation & Flow Maps)。
📌 TL;DR
DDIM = 去掉随机性的 DDPM 采样器(Song, Meng, Ermon 2021)。它不重新训练模型,只是把 DDPM 的随机反向链改写成一个确定性的递推,使 1000 步采样能压缩到 50 步、20 步甚至 10 步而几乎不掉质量。
$$x_{t-1} \;=\; \sqrt{\bar\alpha_{t-1}}\,\tilde x_0(x_t,\epsilon_\theta) \;+\; \sqrt{1-\bar\alpha_{t-1}-\sigma_t^2}\,\epsilon_\theta(x_t,t) \;+\; \sigma_t\,\epsilon$$三个观察撑起全章:
- 训练目标只看 marginal $q(x_t|x_0)$——很多前向过程共享同一条 marginal,DDPM 是其中"最随机"的一条,DDIM 是"最确定"的一条。
- $\sigma_t=0$ → 完全确定性,这就是 PF-ODE 的 Euler 解;$\sigma_t$ 取 DDPM 那个特殊值 → 退化回 DDPM。两者中间用一个旋钮 $\eta\in[0,1]$ 插值。
- 因为是 ODE,可以跨大步走。1000→999→…→0 改成 1000→980→…→0(50 步),10× 加速,质量稳。
为什么把这章放在 Module 5 开篇?因为 DDIM 是采样侧所有改进的起点——它把 DDPM 从"随机过程"翻译成"ODE 上的轨迹",后面 DPM-Solver、Flow Matching、Consistency Model(第 15 章)全部站在 DDIM 这条 ODE 视角上。课程里 Lecture 7、10、11 三个独立讲座都把它当成"前置知识"反复回顾——它就是整门课的采样基石。
一、为什么 DDPM 慢?先把"慢"这件事拆开
Alex Zhou 在 Lecture 11 开场就把问题摆正了:
把这段话翻译成中文教材语言:
- DDPM 推理 = 解一个 ODE/SDE。第 11 章我们已经证明了,DDPM 的反向链对应一个 probability flow ODE。求解 ODE 的标准做法是 欧拉法(Euler method)——每步取一个小步长 $\Delta t$,往前推。
- DDPM 的"步长"非常小:训练时定 $T=1000$,于是每步 $\Delta t = 1/1000$。这是训练侧定的步长,推理侧默认沿用——所以要走 1000 次神经网络 forward。
- 真正想要的:少几步——"large jumps"——但质量不掉。这个"大跨步"在 SDE 上做不到(噪声会爆),在 ODE 上有可能做到(Euler 在光滑场上可以放大步长)。
这"1000 步"听起来抽象,落到产品里就是响应延迟。一个 1024×1024 的 Stable Diffusion 在 RTX 4090 上,单次 forward 大约 30 ms。1000 步 = 30 秒;50 步 = 1.5 秒。前者用户必然流失,后者刚好在"等不及但可接受"的临界点上。学术论文里 1000 步是"无所谓"的训练超参,工业产品里 1000 步就是不能用。所以"如何压缩采样步数"在 2021 年成了整个 diffusion 社区最热的问题。
所以本章的核心问题可以一句话写下来:
能不能不重新训练 $\epsilon_\theta$,只改采样规则,就把 1000 步压到 50 步?
DDIM 给出的回答是:能,而且只需要一行公式。这一行公式之所以能成立,依赖一条几乎令人难以置信的观察:训练损失根本不关心"模型在每一步看到的中间噪声样本"长啥样。把这件事讲清楚是下一节的任务。
二、关键洞察:训练损失只锁住 marginal,不锁住链
这是 DDIM 论文最精妙、也最容易被一笔带过的一步。
回忆 DDPM 的训练目标(第 7 章):
$$\mathcal{L}_\text{simple} \;=\; \mathbb{E}_{t,\,x_0,\,\epsilon}\!\left[\big\|\epsilon - \epsilon_\theta(x_t,t)\big\|^2\right],\quad x_t=\sqrt{\bar\alpha_t}\,x_0+\sqrt{1-\bar\alpha_t}\,\epsilon$$留意一件事:训练时我们只用 $x_0$ 和 $x_t$,根本不需要中间的 $x_1,\dots,x_{t-1}$。换句话说,损失只依赖边缘分布
$$q(x_t|x_0) \;=\; \mathcal{N}\!\big(\sqrt{\bar\alpha_t}\,x_0,\;(1-\bar\alpha_t)\,I\big)$$而不依赖"哪条前向链通向这个 $x_t$"。
这就是 DDIM 的"魔术":
- 训练完全照搬 DDPM;
- 采样换一条新轨迹;
- 损失没变 → 模型没变 → 上线不用重训。
这种思路在论文里被表述为"非 Markov 前向过程(non-Markovian forward process)"。听起来高深,本质就是上面这件事:marginal 不动、链可以换。
打一个不太严谨但很顺手的类比:你考研复习时,老师只关心你期末卷子上写下来的每一题答案是否正确,不关心你是用"先打草稿再誊抄"还是"直接动笔"的方法写出来的。"答案"在这里就是 marginal $q(x_t|x_0)$,"过程"就是前向链。DDPM 是"独立加噪、一步一步推"的复习方式,DDIM 是"一口气直接跳到答案"的复习方式——两者卷面分数(损失)一模一样。
三、DDIM 更新公式:一行三块拼装
DDIM 论文最终给出的反向更新长这样(这是整章最重要的公式):
$$\boxed{\;x_{t-1} \;=\; \underbrace{\sqrt{\bar\alpha_{t-1}}\,\tilde x_0(x_t,\epsilon_\theta)}_{\text{① 朝预测的干净图走}} \;+\; \underbrace{\sqrt{1-\bar\alpha_{t-1}-\sigma_t^2}\,\epsilon_\theta(x_t,t)}_{\text{② 加回"恰当量"噪声}} \;+\; \underbrace{\sigma_t\,\epsilon}_{\text{③ 额外随机扰动}}\;}$$其中那个反复出现的 $\tilde x_0$ 是x0 预测(第 8 章已经推过):
$$\tilde x_0(x_t,\epsilon_\theta) \;=\; \frac{x_t - \sqrt{1-\bar\alpha_t}\,\epsilon_\theta(x_t,t)}{\sqrt{\bar\alpha_t}}$$这一公式的三块乍看眼花,但每一块都对应一个物理动作,看清楚就拆穿了。
3.1 拆块 ①:朝"模型心中的干净图"走一段
Lecture 7 里讲师用最朴素的话讲过 DDIM 的过程:
每一步 DDIM 先用 $\epsilon_\theta$ 估计当前 $x_t$ 对应的"干净图猜测"$\tilde x_0$,再把这个 $\tilde x_0$ 按 $\sqrt{\bar\alpha_{t-1}}$ 缩放——意思就是"把 $\tilde x_0$ 加噪到 $t-1$ 时刻该有的强度"。
3.2 拆块 ②:补回"$t-1$ 时刻还该残留的噪声"
到了 $t-1$ 时刻,按 marginal 公式 $x_{t-1}=\sqrt{\bar\alpha_{t-1}}x_0+\sqrt{1-\bar\alpha_{t-1}}\epsilon$,还应该带有一个 $\sqrt{1-\bar\alpha_{t-1}}$ 强度的噪声。但我们已经在第 ③ 块用了 $\sigma_t$ 强度的纯随机噪声,剩下的差额 $\sqrt{1-\bar\alpha_{t-1}-\sigma_t^2}$ 就由原噪声方向 $\epsilon_\theta$ 来补——它恰好方差对得上。
3.3 拆块 ③:随机性旋钮 $\sigma_t$
这是 DDIM 的"灵魂参数"。改变 $\sigma_t$ 就改变采样器的"随机程度",但marginal 始终保持。后面我们会看到,$\sigma_t=0$ 给出最简洁、最有用的形式。
把三块拼起来再看一眼:第 ① 块决定"目标方向"(朝模型对干净图的猜测前进),第 ② 块"配重"——把 marginal 该有的噪声量补够,第 ③ 块"加扰"——选择多大程度让链回到随机过程。前两块是必须的(决定 marginal 对齐),第三块是可选的(决定确定性 vs 随机性)。读者后续在论文里看到 $\sigma_t$ 出现在各种地方,都可以回到这三块拆解:你是想让 marginal 对齐?那就调前两块;你是想加随机?那就调第三块。
- $\eta=0$ → $\sigma_t=0$ → 确定性 DDIM;
- $\eta=1$ → $\sigma_t$ 取 DDPM 原值 → 退化为 DDPM;
- $0<\eta<1$ → 介于两者之间。
DDIMScheduler 默认 $\eta=0$,就是确定性版本。
四、两个极端:$\sigma_t=0$ 和 $\sigma_t=\sigma_t^\text{DDPM}$
4.1 $\sigma_t=0$:完全确定性
把 $\sigma_t=0$ 代入更新公式,第三块消失:
$$x_{t-1} \;=\; \sqrt{\bar\alpha_{t-1}}\,\tilde x_0(x_t,\epsilon_\theta) \;+\; \sqrt{1-\bar\alpha_{t-1}}\,\epsilon_\theta(x_t,t)$$没有 $\epsilon$,没有 randn,从 $x_T$ 到 $x_0$ 整条轨迹完全由 $x_T$ 决定。同一个 $x_T$ 喂两次,会得到一模一样的图像。
4.2 $\sigma_t$ 取 DDPM 值:等同 DDPM
当 $\sigma_t=\sqrt{(1-\bar\alpha_{t-1})/(1-\bar\alpha_t)}\cdot\sqrt{1-\bar\alpha_t/\bar\alpha_{t-1}}$ 时,更新公式化简后恰好是 DDPM 的反向链。DDIM 论文证明:在这条 $\sigma$ 取值上,第二块的系数 $\sqrt{1-\bar\alpha_{t-1}-\sigma_t^2}$ 配上第三块的 $\sigma_t\epsilon$,重新组合后回到原 DDPM。所以——
DDPM 是 DDIM 家族中"最随机"的那一个;DDIM($\eta=0$)是"最确定"的那一个;两者之间用 $\eta$ 自由拨。
这一句话非常值得反复咀嚼。它意味着:DDPM 不是一个独立的方法,而是 DDIM 这个更广采样器家族里一个特例。从历史叙述角度看,Ho 等人 2020 年提的 DDPM 在 Song 等人 2021 年提出 DDIM 之后被"重新解读"——原来你这个所谓"随机扩散过程"只是参数 $\eta=1$ 的特殊选择,真正自由的旋钮在我手里。这种"原方法是新方法的特例"的叙述在科研里是非常强的论文卖点,DDIM 论文就是凭这个 framing 一举占领整个采样侧领域。
五、为什么这个改动能"快"?ODE 的几何视角
前两节都是公式。这一节用一张图打通直觉。
把 $x_T\sim\mathcal{N}(0,I)$ 看作右端"先验云",$x_0\sim p_\text{data}$ 看作左端"数据云"。DDPM 与 DDIM 在两者间画两条性质完全不同的轨迹:
看图就明白:
- DDPM 路径剧烈抖动。因为每步都注入随机噪声,路径在 $x_t$ 空间里像布朗运动。用大步长走,噪声方差和步长成正比但梯度变化也大,所以必须用细步长才不爆。
- DDIM 路径光滑可微。因为是 ODE 解,本地有 Lipschitz 性质,Euler 法在大步长下误差仍可控。所以 1000 → 50 几乎免费。
另一个观察很重要:两种采样路径在终点 $x_0$ 处的分布是一样的(marginal 相等是 DDIM 论文的核心保证),但每条具体样本不同。DDPM 同一个 $x_T$ 跑两次,因为每步注入独立噪声,得到两张不同的图;DDIM ($\eta=0$) 同一个 $x_T$ 跑两次,得到完全相同的图。这条性质对"采样多样性"和"采样可重现性"是一对此长彼消的取舍:DDPM 多样但不可重现,DDIM 可重现但多样性窄。这点在产品里很关键——做 art generation 偏好多样,做 image editing / 论文 reproduce 偏好可重现。
六、跳步采样:DDIM 真正的"快"
更新公式没有规定 $t-1$ 必须是 $t$ 的下一格。完全可以把"下一格"改成"下 10 格":选一个稀疏子序列 $\tau_1<\tau_2<\dots<\tau_S$(比如 $\{0,20,40,\dots,1000\}$, $S=50$),然后采样按这个子序列走。
更新公式只需把 $t-1$ 换成 $\tau_{i-1}$,$t$ 换成 $\tau_i$,$\bar\alpha$ 用对应的:
$$x_{\tau_{i-1}} \;=\; \sqrt{\bar\alpha_{\tau_{i-1}}}\,\tilde x_0 \;+\; \sqrt{1-\bar\alpha_{\tau_{i-1}}-\sigma^2}\,\epsilon_\theta(x_{\tau_i},\tau_i) \;+\; \sigma\,\epsilon$$常用的 $S$ 取值(Stable Diffusion 默认):
- 50 步:质量已经接近 1000 步 DDPM,肉眼几乎无差别。这是 Stable Diffusion 1.x 默认值。
- 20–25 步:略微掉细节,但加速 40–50 倍,多数 demo 用这个。
- 10 步:开始出现明显伪影,但仍勉强可用。
- < 5 步:DDIM 本身已撑不住,这是后续 Consistency Model(第 15 章)/ Distillation(第 17 章)登场的原因。
关于"如何选择跳步子序列",有两种常见做法:
- 线性子序列(uniform):$\tau_i$ 等间距,比如 0, 20, 40, …, 1000。最简单,效果稳定,HuggingFace 默认。
- 二次子序列(quadratic):$\tau_i \propto i^2$,前期密、后期疏。理由是 $x_t$ 接近 $x_0$(小 $t$)时图像细节多,需要更密的步长。DDIM 原论文实验上 quadratic 略好,但差距不大。
实际项目里,能省心就用线性。除非你训了非标准 schedule(如 cosine 或 v-prediction)需要特殊处理。
七、单步 DDIM 的"容量上限"——线性插值视角
这一节把 Alex 在 Lecture 11 第 11 分钟的关键图讲清楚,因为它是整门课从 DDIM 跳到 Flow Map / Consistency 的桥梁。
怎么理解"线性插值"?把确定性 DDIM 公式整理一下:
这张图的教学含义是无价的:
- 每一步 DDIM 都是 $x_t \to \tilde x_0$ 这条线段上的一个点;
- 多步 DDIM = 一系列短线段串成的折线,去逼近真实弯曲的 ODE;
- 步数越多,折线越贴近曲线 → 质量越好;
- 但一步 DDIM 无论怎么训,本质上是"直线",永远拟合不出真实的弯曲 ODE——这就是 capacity 上限。
- Consistency Model(第 15 章):直接把"单步 = 直线"这一限制取消,让网络显式学习跨大步的映射 $f(x_t,t)\to x_0$。代价是要重新训练。
- Flow Map / TBM(Luma AI 内部模型,Lecture 10–11 主题):在网络里同时注入起始时刻 $t$ 和终止时刻 $s$,使一次 forward 能表达"从 $t$ 到 $s$"的任意弯曲段,突破线性插值上限。Alex Zhou 在 Lecture 11 演讲的核心就是这一点。
- DPM-Solver / Heun / RK4:保留 DDIM 训练,但把 Euler 一阶 step 换成更高阶 ODE 求解器,用更准的曲线拟合,而不是更多直线段。
八、DDIM Inversion:把图像"反推"成它的种子噪声
确定性 DDIM 还有一个免费赠送的强力工具:DDIM inversion。
注意确定性 DDIM 是一个可逆的映射 $x_T \leftrightarrow x_0$。如果我们能从 $x_T$ 走到 $x_0$,那反过来——给我一张真实图 $x_0$,我们能不能找到产生它的那个 $x_T$?
答案:能。把 DDIM 的更新公式反过来求解 $x_t$ 关于 $x_{t-1}$ 的关系:
$$x_t \;\approx\; \sqrt{\bar\alpha_t}\,\tilde x_0(x_{t-1},\epsilon_\theta) \;+\; \sqrt{1-\bar\alpha_t}\,\epsilon_\theta(x_{t-1},t-1)$$注意这是"近似反向",因为这里我们用 $\epsilon_\theta(x_{t-1},\cdot)$ 代替了理论上应该是 $\epsilon_\theta(x_t,\cdot)$——但在小步长下两者近似相等,所以可行。
这一过程有什么用?
- 真实图编辑:把照片 inversion 到 $x_T$,再加 prompt 引导,DDIM 走回去得到"在原图基础上做修改"的结果。这是 Prompt-to-Prompt、Null-text Inversion、SDEdit、InstructPix2Pix 这一系列论文的核心算法。
- 风格迁移:把图 A inversion 到噪声、再用 prompt B 走回,得到 A 的内容 + B 的风格。
- 真实图作为种子的可重现采样:固定 $x_T$ 后,DDIM 是函数,可以做 A/B 测试。
九、DDIM 在 Guidance 里的双重角色
Lecture 7(Guidance)反复提到 DDIM,并不是把它当成"采样器",而是当成"能在每步给出干净图估计的工具"。讲师亲口讲过一段对话:
"Perfect answer. This is exactly what we're going to do. Remember how we do DDIM? At each time step of DDIM, we can actually have a clean data estimation from those noisy time steps."
这就是 DPS(Diffusion Posterior Sampling)和 LGD(Loss-Guided Diffusion)的核心技巧:
- 在 DDIM 每一步用 $\tilde x_0(x_t,\epsilon_\theta)$ 拿到"干净图估计";
- 把这个估计喂进 off-the-shelf 分类器(或任意任务模型);
- 反传得到一个梯度 $\nabla_{x_t}\mathcal{L}(\tilde x_0,\text{condition})$;
- 用这个梯度修正下一步 $x_{t-1}$,把生成"拉"向 condition。
这里 DDIM 不再是"加速器",而是"提供干净图估计的窗口"——它的 $\tilde x_0$ 公式是几乎所有 guidance 算法的依赖。
另一个有趣的应用是 SDEdit/SDXL Refiner 风格的"中途启动":
这种"从中途时刻 $t
十、超越线性插值:从 DDIM 到"两时刻 DDIM"
这一节把 Lecture 11 后半段 Alex 介绍的"如何修复 capacity problem"思路讲完。它不是 DDIM 本身的内容,但是讲师在引入 DDIM 时就立刻提到的"后续路线",体现了课程怎么把 DDIM 当成"基线"使用。
核心修补:让网络同时接收起始时刻 $t$ 和终止时刻 $s$——以前网络只看 $t$,现在看 $(t,s)$。这一改动让单步映射不再被锁在直线上。Alex 原话:
翻译过来:
- 原 DDIM:网络是 $\epsilon_\theta(x_t, t)$。给定 $x_t$ 和 $t$,输出方向唯一。然后用 DDIM 公式按 $s$ 比例插值——所以"终点"只能在直线上。
- 两时刻 DDIM:网络是 $f_\theta(x_t, t, s)$。给定 $(t,s)$,网络可以输出不同的方向——把"从 $t$ 到 $s$"的整段曲线压成一次 forward。终点可以沿真实 ODE 曲线滑动。
有了这层改造,再配合一个叫 inductive learning 的训练目标,就能教网络逐步学会"任意两时刻间的映射"。Alex 在 Lecture 11 中段花了 10 分钟讲这个 inductive 训练过程:
- Base case:当 $t=s$,网络必须输出 identity 映射。讲师强调"这是 DDIM 的一个特殊性质"——DDIM 公式中当 $s=t$ 时三块化简为 $x_s=x_t$,对任何 $\theta$ 成立,包括未训练的 $\theta$。所以 base case 是"免费"的。
- Induction step:用某个中间时刻 $r$ 作为"教师"——$Q_r$ 离 $Q_s$ 已经很近,让网络学会"从 $Q_r$ 走到 $Q_s$"比直接从 $Q_t$ 跳到 $Q_s$ 容易得多。然后用归纳法逐步推到更远的 $t$。
这种"近距离教远距离"的训练 paradigm,是后来 Consistency Model / Flow Map / TBM 等 1-step 模型的共同底层逻辑。Alex 把它形象地描述为"让 $Q_r$ 慢慢往 $Q_s$ 滑动,使学生模型分布也慢慢往 $Q_s$ 滑动"。
十一、DDIM ↔ Flow Matching:是同一回事吗?
Lecture 11 的标题就是"Diffusion & Flow Matching"。Alex 在演讲里反复强调一句话:
翻译:在 Flow Matching 的线性插值噪声调度(rectified flow $x_t=(1-t)x_0+t\epsilon$)下,DDIM 的确定性更新公式退化为 Flow Matching 的 Euler 采样步。
这一等价意味着:
- DDIM 不是 DDPM 专属——它是所有 ODE 形式生成模型的通用 Euler 采样器;
- 在 Flow Matching 下叫"Euler sampler",在 DDPM 下叫"DDIM",两者是同一个东西穿了不同衣服;
- 所以 Stable Diffusion 3 / SD-Turbo 等 Flow Matching 模型用"Euler sampler"就够了,无需引入"DDIM"这个新名词;但用户层面,习惯仍然把它叫 DDIM。
十二、PyTorch 实现骨架(最小可跑版)
下面是 50 步确定性 DDIM 的最小实现。模型 eps_theta 假定已经用 DDPM 损失训好。
import torch
@torch.no_grad()
def ddim_sample(eps_theta, shape, num_steps=50, eta=0.0,
betas=None, device="cuda"):
"""
Deterministic DDIM (eta=0) sampling from a DDPM-trained eps_theta.
eps_theta: nn.Module, eps_theta(x_t, t) -> predicted noise
betas: full DDPM beta schedule of length T (e.g. T=1000)
"""
T = len(betas)
alphas = 1.0 - betas
alphas_bar = torch.cumprod(alphas, dim=0).to(device) # \bar\alpha_t
# 1) Pick a sub-sequence of timesteps (uniform spacing)
step_idx = torch.linspace(0, T - 1, num_steps + 1, dtype=torch.long).to(device)
step_idx = step_idx.flip(0) # T-1, ..., 0
# 2) Start from prior noise
x = torch.randn(shape, device=device)
for i in range(num_steps):
t = step_idx[i]
t_prev = step_idx[i + 1]
a_t = alphas_bar[t]
a_prev = alphas_bar[t_prev] if t_prev >= 0 else torch.tensor(1.0, device=device)
# ----- predict noise -----
eps = eps_theta(x, t.expand(shape[0]))
# ----- predict x0 (Tweedie / x0-prediction) -----
x0_pred = (x - (1 - a_t).sqrt() * eps) / a_t.sqrt()
# ----- DDIM sigma (controlled by eta) -----
sigma = eta * ((1 - a_prev) / (1 - a_t)).sqrt() * (1 - a_t / a_prev).sqrt()
# ----- direction pointing to x_t -----
dir_xt = (1 - a_prev - sigma ** 2).clamp(min=0).sqrt() * eps
noise = sigma * torch.randn_like(x) if eta > 0 else 0.0
x = a_prev.sqrt() * x0_pred + dir_xt + noise
return x
把 num_steps=50, eta=0 设上,这就是 Stable Diffusion 1.x 时代最经典的采样器。换成 eta=1 就是 DDPM。num_steps 拨到 20、10 测速,肉眼对照质量。
step_idx.flip(0):从大到小遍历,符合"反向去噪"方向。(1 - a_prev - sigma ** 2).clamp(min=0):极少数边界情况会算出微小负值(浮点误差),clamp 防 NaN。a_prev = 1.0当 $t_\text{prev}=-1$ 时:最后一步走到 $x_0$,对应 $\bar\alpha_0=1$。
十三、把 DDIM 放回整门课的地图
这是整门课讲师在 Lecture 7、10、11 反复回顾 DDIM 的原因——它不是一个孤立的采样器,而是下游一整片技术的前置条件:
- 第 11 章 PF-ODE:DDIM 是 PF-ODE 的 Euler 解 ← 本章基础。
- 第 13 章 DPM-Solver:把 DDIM 的 Euler 一阶升级为更高阶。
- 第 14 章 SDE Solver:留住一定的随机性($\eta>0$)以提升多样性。
- 第 15 章 Consistency Model:突破单步 DDIM 的 capacity 上限,用网络直接学跨大步的映射。
- 第 17 章 Distillation:在 DDIM 轨迹上做"老师→学生"蒸馏,让学生 1 步追上老师 50 步。
- 第 18 章 Latent Diffusion / SDXL:默认采样器就是 DDIM。
- 第 19 章 Guidance / DPS:每步用 DDIM 的 $\tilde x_0$ 作为分类器输入 ← 本章 §9。
- 第 20 章 Inversion / Editing:基于 DDIM inversion 的真实图编辑全家桶 ← 本章 §8。
如果你只允许带一个采样器去荒岛,那就是 DDIM。
十四、常见疑问 FAQ
14.1 DDIM 比 DDPM 质量更差吗?
同步数下几乎无差别。论文实验:1000 步 DDPM 和 1000 步 DDIM ($\eta=0$) FID 差距在噪声水平内。DDIM 真正的"价值"在少步数下不掉:50 步 DDIM ≈ 1000 步 DDPM,但 50 步 DDPM 就明显糊掉了。
14.2 DDIM 用 $\eta=1$ 真的等于 DDPM 吗?
采样轨迹的分布等价。具体每条样本不等,因为 $\epsilon$ 是独立采的。但 $x_T$ 到 $x_0$ 的边缘分布完全一样。
14.3 DDIM 多样性比 DDPM 差吗?
会差一点。$\eta=0$ 时,$x_0$ 完全由 $x_T$ 决定,所以多样性来源只是初始 $x_T$ 的随机。DDPM 每步还注入新随机,所以"全局多样性"略大。实践中:如果你做 art/创意 → 用 $\eta=0.5$ 或 $\eta=1$(多样性优先);做 image editing 或可重现实验 → 用 $\eta=0$(一致性优先)。
14.4 为什么 SD 默认就是 DDIM 而不是 DDPM?
因为50 步 vs 1000 步差 20 倍速度。在产品里这是用户体验上的天壤之别。
14.5 DDIM 跟 Consistency Model 有什么区别?
简单一句话:
- DDIM = 多步确定性采样器,不重训模型。
- Consistency Model(第 15 章)= 单步采样器,需要专门训练。Alex 在 Lecture 11 把 DDIM 称为 CM 的"线性插值上限版本"——CM 是把这一上限抬掉。
14.6 DDIM 训练时要做特殊处理吗?
不需要。这是 DDIM 的最大优点之一。你拿任何标准 DDPM 训练流程(MSE 损失、$\epsilon_\theta$ 参数化、cosine 或 linear 调度)训出的模型,都能直接换 DDIM 采样器用。这一点也是 DDIM 被工业界迅速接受的原因——没有迁移成本。
14.7 我可以混合 DDIM 和 DDPM 吗?比如前 800 步用 DDIM、后 200 步用 DDPM?
理论上可以——只要换 $\eta$ 即可。但实际上很少这么做。一种常见变体是动态 $\eta$:高噪声段用 $\eta=0$(确定地把 $x_T$ 推向数据流形)、低噪声段用 $\eta>0$(注入扰动以增加多样性)。Karras 的 EDM 论文(2022)系统研究了这类"churn" 技巧,但对一般用户而言纯 $\eta=0$ DDIM 已经够好。
本章要记住的(讲师亲口给的核心)
- DDIM 不改模型,只改采样。任何 DDPM 权重 + 一个新循环就能跑——10×–50× 加速。
- 关键洞察:训练损失只锁 marginal $q(x_t|x_0)$,不锁链。所以可以换一条共享 marginal、但反向确定的非 Markov 链。
- 核心公式三块:朝预测的 $\tilde x_0$ 走 + 补回适当噪声 + 可选随机扰动 $\sigma_t\epsilon$。$\eta\in[0,1]$ 是随机性旋钮。
- $\eta=0$ ↔ PF-ODE 的 Euler 解。这是它跨大步不爆的根本原因(Alex:DDIM "reduces to Euler sampler in a flow-matching schedule")。
- 跳步采样:1000 → 50 几乎免费,10 仍可用,<5 撑不住。撑不住的根源是"单步 DDIM = 线性插值"——这就是 Alex 命名的 capacity problem。
- DDIM Inversion 是确定性的隐性礼物。可逆性 ⇒ 真实图能反推回 $x_T$ ⇒ 编辑、风格迁移、SDEdit、ControlNet refiner 的算法底座。
- Guidance 依赖 DDIM 的 $\tilde x_0$ 公式。DPS / LGD / classifier guidance 在每一步用 $\tilde x_0$ 作为干净图入口。
- 这是整门课 Module 5 的基石。后面 DPM-Solver、Consistency Model、Distillation、Latent Diffusion、Inversion-based editing 全部站在 DDIM 这张地图上。