Consistency Models:一步生成
从多步扩散蒸馏出一步生成器。
15. Consistency Models:一步生成
主源:CMU 10799 Lecture 10《Distillation, Consistency Models & Flow Maps》。副源:Song et al. 2023《Consistency Models》(教材外补充)。
📌 TL;DR
Diffusion 慢,是因为采样 = 解 ODE = 一次接一次跑 U-Net。第 14 章我们学了把 SDE 转成 PF-ODE 之后,可以用更高级的 ODE 求解器把 1000 步压到 20-50 步;本章再激进一步:能不能训练出一个直接一步到位的模型?
答案是 Consistency Model。核心想法:训练一个网络 $f_\theta(x_t, t)$,让它把 PF-ODE 轨迹上的任何一个点都映射回轨迹起点 $x_0$(实际上是 $x_\epsilon$,一个非常接近 0 的小时间点)。它满足两个条件:
- 一致性:同一条轨迹上的两个点 $x_t$ 和 $x_s$,模型给出同一个 $x_0$,即 $f_\theta(x_t, t) = f_\theta(x_s, s)$。
- 边界条件:$f_\theta(x_\epsilon, \epsilon) = x_\epsilon$(轨迹起点处恒等)。
训完之后采样 = 从 $\mathcal{N}(0, I)$ 抽一个 $x_T$,跑一次 $f_\theta(x_T, T)$,结束。一次前向 = 一张图。CIFAR-10 一步 FID 约 3,对比 DDPM 要 100+ 步。
为什么本章开篇要讲蒸馏(distillation)?因为 consistency model 是从蒸馏的失败里逼出来的。讲师在 CMU 课堂上用一连串提问把学生引到坑前——progressive distillation、4 步 / 8 步学生模型、xt 直接到 x0、为什么不行——最终落到"自洽性"这条看起来完全不像损失函数的优化目标。读完这一章你会知道:consistency 不是凭空想出来的,是把所有别的路都堵死之后剩下的那条。
一、为什么 diffusion 慢?回顾一下"采样就是解 ODE"
讲师 Lecture 10 一上来就回顾前面的内容:
把这段话翻译过来:diffusion 的采样本质上就是一个 ODE 求解过程(参见第 14 章 PF-ODE)。前面几章我们用了两个加速手段:
- DDIM 这类 sampling-only 技巧:不改模型,只改采样器,把 1000 步缩到 50 步;
- 高阶 ODE solver:Heun、DPM-Solver、RK4,更精确地走每一步,进一步把 50 步缩到 20 步。
但还有一类完全不同的思路——不改采样、改模型:
这就是蒸馏(distillation)。讲师说的"sampling-only methods" 和 "model-side methods" 是一组对照——前者把已有模型用得更巧,后者干脆训出一个新的、更快的模型。Consistency model 属于后者中最极端的一类:一次前向就出图。
为了让你对"慢"有量化的感觉:原始 DDPM 在 CIFAR-10 上需要 1000 次 U-Net 前向才能采一张图;DDIM 把它砍到 50 次;DPM-Solver-2 大约 20 次;progressive distillation 可以到 4-8 次;而本章的 consistency model,1 次就够。换算到墙上时钟:一张 1024×1024 的 SDXL 图像,50 步要 4 秒,1 步只要 50 毫秒——差了两个数量级。这就是为什么 Stable Diffusion 团队 2023 年要把 consistency 蒸馏作为 SD-Turbo 的核心技术。
二、最朴素的蒸馏:让学生跳两步
讲师在课堂上没有直接抛出 consistency model,而是从最朴素的蒸馏开始让学生猜。这个 Socratic 过程很重要——你跟着走一遍,就知道为什么 consistency model 长成最后那个样子。多数论文 / 博客直接把 consistency 定义丢出来,读者很难看出"这哪冒出来的"。CMU 课堂的处理方式是反过来——先让所有别的路撞墙,consistency 自然就剩下了。
设定:已经有一个训好的 diffusion 模型(教师 $\phi$),它需要跑 $T$ 步采样。能不能训一个学生模型 $\theta$,让它跑得更少?
一位学生在课堂上给出第一个直觉:
讲师评价"very close to what I'm thinking",然后细化成具体方案:
用教师做 DDIM 两步(从 $t$ 走到 $t - 2\Delta t$),训练学生让它一步就能从 $t$ 跳到 $t - 2\Delta t$。损失就是匹配教师两步后的结果。
形式化写出来:
$$L_{\text{distill}} = \mathbb{E}_{x_t, t} \big\| f_\theta(x_t, t) - \text{DDIM}_\phi^{(2)}(x_t, t) \big\|^2$$其中 $\text{DDIM}_\phi^{(2)}$ 表示用教师跑两步 DDIM 的结果。学生一步 ≈ 教师两步 → 2× 加速。这就是 step distillation 的最朴素版本。
2.1 递归:progressive distillation
讲师立刻把这个想法递归往下推:
这就是 Salimans & Ho 2022 的 Progressive Distillation。每"代"都把步数砍一半:
- 教师:1024 步 → 学生 V1:512 步
- V1(变教师):512 步 → V2:256 步
- ... 一直递归 → 最后只剩几步
讲师补了一句"log to t I guess"——意思是总共需要 $\log_2 T$ 代蒸馏。如果 $T = 1024$,就 10 代。
v-parameterization,就是从这里来的。
三、激进一点:能不能一步直接匹配 4 步?8 步?T 步?
课堂上一个学生立刻问:
讲师笑了,说"great question"——然后顺势把问题再放大:
这是讲师埋的认知陷阱。他故意让学生先把这条"激进路线"想出来,然后再一条条揭穿它的问题。我们跟着一步步揭:
3.1 问题 1:学习目标太难
一位学生说:"resolution. You just jump that far that fast. Maybe it just wouldn't be as good of a model."
讲师补充:原始 diffusion 的边缘 prior 永远是 Gaussian,如果让学生一次性把高斯映射到复杂数据分布——
本质上你逼神经网络做分布层面的非线性,难度爆炸。Diffusion 的成功就建立在"把一个难的生成问题拆成 T 个简单的去噪问题"上,你一刀把 T 砍回 1,难度立刻反弹。
3.2 问题 2:训练时间爆炸
第二个学生指出更现实的问题:"sampling takes too long during training."
讲师把这个问题展开:
翻译:
- 要算学生的损失,每个 batch 都得让教师跑 $k$ 步采样作为 ground truth;
- $k = 4$ 时已经很慢,$k = T = 1000$ 时直接训不动;
- 不同样本可能落在不同 $t$,同一个 batch 内 $t$ 不一样的话无法并行化——你得写 for-loop 套 batch,简直灾难。
3.3 问题 3:丢失多样性
一个学生补充:"the output diversity would be limited because you're just taking one step without any steps in between."
讲师承认这是至今未解决的根本问题:"that's definitely an issue, and that's actually still an issue today, it's not going to get solved by any of the methods we're going to talk about." 一步生成的多样性确实差。但讲师认为,质量上"the quality may be great" 已经足够拿出来当 CFG-quality 的 fast preview 用了。
3.4 一个学生的"聪明绕路"——offline dataset
课堂上还有个学生想了一个 hack:
意思是:教师跑得慢,那就离线先生成一个 (噪声 $x_t$, 终点 $x_0$) 配对数据集,之后训学生时直接读。讲师评价"that could definitely work, but we actually have a more parallelizable way to do it. You just kind of trade training time with storage."
这个"用存储换时间"的思路不是 consistency model 的核心方案,但它是后续 InstaFlow / Rectified Flow 的关键想法之一——把教师轨迹离线拉直再蒸馏。讲师在这里没展开,但他承认这条路也走得通。
四、从另一个角度看:换"轨迹"的视角
讲师卡在"一步匹配损失太丑"这里,然后说了一句关键的话:
这是整章的转折点。仔细嚼一下:"$t$ 是任意的"意味着——
- 学生模型 $f_\theta(x_t, t)$ 需要对所有时间 $t \in [0, T]$ 都能给出 $x_0$;
- 每个 $t$ 处的输入 $x_t$ 都对应 PF-ODE 轨迹上的某个点;
- 同一条轨迹上的不同 $t$,对应的 $x_t$ 不同,但终点 $x_0$ 是同一个。
所以把"$x_t \to x_0$"换个说法就是:"同一条 PF-ODE 轨迹上的任何两个点,模型都应该输出同一个 $x_0$"。讲师给这个性质起了个名字:
这就是 consistency(一致性)。注意视角的微妙转换:
- 蒸馏的视角:损失 = "学生 vs 教师跑 $k$ 步" 的距离 → 需要教师在线跑 $k$ 步 → 慢;
- consistency 的视角:损失 = "学生在轨迹上不同点的输出彼此相等" → 只需要轨迹上相邻两点,教师跑一步就够。
把"教师跑 $k$ 步"这个昂贵的要求拆成了"相邻两点的一致性"——这就是 consistency model 的核心 trick。
4.1 这个视角转换值得停下来嚼三遍
初学者读到这里很容易"飘过去",但这一步其实是 Song et al. 2023 整篇论文的灵魂,值得反复咀嚼。让我用三种说法重复一遍同一个想法,确保你抓住:
- 从损失函数看:蒸馏要求"学生终点 = 教师终点",这是一个全局约束(端到端);consistency 要求"学生在 $t$ 和 $t+\Delta t$ 的输出相等",这是一个局部约束(相邻两点)。机器学习里全局约束几乎总是比局部约束难训——consistency 巧妙地把全局问题换成局部问题。
- 从积分看:PF-ODE 是一个常微分方程,它的解是一条曲线。蒸馏想直接学"积分起点到终点的整体映射";consistency 想学的是"积分曲线本身的不变量"——曲线上每个点都映到同一个终点,这是一个 invariant。学不变量通常比学映射容易。
- 从物理类比看:想象一条河流从山顶汇入大海。蒸馏的目标是"输入山顶水滴坐标 → 预测它最终入海的位置";consistency 的目标是"对河里任何一个水滴,无论上游下游,都预测它的入海位置"——并且要求所有水滴(如果属于同一条河)预测的入海位置一致。后者只需要观察相邻两个水滴是否"指向同一处",前者需要追踪整条河。
五、Consistency Property 的形式化定义
讲师把"自洽"翻译成数学:
形式化:
$$\boxed{\; f_\theta(x_t, t) = f_\theta(x_s, s), \quad \forall (x_t, t), (x_s, s) \text{ on the same PF-ODE trajectory} \;}$$Why 这个等式如此重要:它把"端到端蒸馏"的目标用局部约束表达出来。我们不必和"教师终点"对齐,只需要保证学生在同一条轨迹的任何两点给出同一个答案。一旦满足这个约束,而且 $t = \epsilon$ 时输出等于输入(下一节的边界条件),学生就自动满足"$x_t \to x_0$"。
读这个公式时要特别注意"on the same PF-ODE trajectory"这几个字。这不是说"对所有 $(x, t), (x', s)$ 都相等"——那是不可能的,不同样本的 $x_0$ 不同。只有同一条轨迹上的点才被约束相等。不同轨迹之间,模型必须给出不同的 $x_0$,否则就退化成"所有输入都映到一张图"——这就是讲师反复警告的 "garbage" 退化模式。
5.1 但这一条约束够吗?
讲师在课堂上立刻反问:"Is this the only criteria that we need for this new model to generate something correct?"
一位学生敏锐地指出:
讲师拍手:"exactly!" 光有 consistency 不够——你完全可以让 $f_\theta$ 把任何输入都映射到全黑图像,这也是"自洽"的,但生成结果是垃圾。我们还需要一个"锚点",把模型钉在真实数据上。这就是边界条件。
六、边界条件(Boundary Condition):恒等映射钉死起点
讲师给出关键观察:
形式化:
$$\boxed{\; f_\theta(x_\epsilon, \epsilon) = x_\epsilon \;}$$其中 $\epsilon$ 是一个非常小的正数(比如 0.002),不取 0 是为了数值稳定。Why 是 identity:
- 在 $t = \epsilon$ 时,$x_\epsilon$ 已经几乎是干净数据 $x_0$(PF-ODE 的起点,对应数据分布一侧);
- 我们希望模型在此处的预测就是 $x_\epsilon$ 本身——也就是说"已经到家了就别再多走一步";
- 把这个点钉死之后,结合 consistency 约束(同一条轨迹上所有点输出相等),整条轨迹的所有点都会被"拉"到 $x_\epsilon$ 这一点——这就是模型如何学到正确终点的来源。
6.1 一个更直觉的理解:consistency + boundary = "拉链效应"
怎么从这两个约束推出"模型一定学到正确的 $x_0$"?想象一条轨迹被离散化成 $N$ 个点 $x_{t_1}, x_{t_2}, \dots, x_{t_N}$,$t_1 = \epsilon$,$t_N = T$。consistency 约束告诉我们:
$$f_\theta(x_{t_1}, t_1) = f_\theta(x_{t_2}, t_2) = \dots = f_\theta(x_{t_N}, t_N)$$这是一条等式链——任何相邻两个相等,所以全都相等,就像拉链一样把所有点拉到一起。但这个"一起"的值是多少?没说!全部输出 0 也满足。
边界条件这时候发挥作用:"拉链链头"的值必须是 $f_\theta(x_{t_1}, t_1) = f_\theta(x_\epsilon, \epsilon) = x_\epsilon$。因为 $x_\epsilon \approx x_0$(PF-ODE 起点几乎就是干净数据),所以:
$$f_\theta(x_{t_2}, t_2) = f_\theta(x_{t_3}, t_3) = \dots = f_\theta(x_{t_N}, t_N) = x_\epsilon \approx x_0$$整条轨迹被"钉"在 $x_0$ 上!这就是为什么 boundary + consistency 联合起来等价于"学到了正确的 $x_t \to x_0$ 映射"。
6.2 怎么让网络结构上满足边界条件?
讲师课堂上没展开实现细节,这里补充(教材外)。最聪明的办法是用参数化技巧,让 $f_\theta$ 在 $t = \epsilon$ 时自动等于 identity:
$$f_\theta(x, t) = c_{\text{skip}}(t) \cdot x + c_{\text{out}}(t) \cdot F_\theta(x, t)$$其中 $F_\theta$ 是一个 U-Net,$c_{\text{skip}}, c_{\text{out}}$ 是预设的标量函数(依赖 $t$),满足:
- $c_{\text{skip}}(\epsilon) = 1$,$c_{\text{out}}(\epsilon) = 0$ → 在 $t=\epsilon$ 时输出 $= 1 \cdot x + 0 \cdot F_\theta = x$(identity ✓);
- 其他 $t$ 时 $c_{\text{out}} \neq 0$,让 U-Net 真正去预测。
Song et al. 2023 给出的具体选择是:
$$c_{\text{skip}}(t) = \frac{\sigma_{\text{data}}^2}{(t-\epsilon)^2 + \sigma_{\text{data}}^2}, \quad c_{\text{out}}(t) = \frac{\sigma_{\text{data}}(t-\epsilon)}{\sqrt{\sigma_{\text{data}}^2 + t^2}}$$$\sigma_{\text{data}}$ 是数据标准差,CIFAR-10 上取 0.5。
七、两种训练范式:Consistency Distillation (CD) vs Consistency Training (CT)
讲师在课堂上主要讲 distillation 路线(用预训练 diffusion 当教师)。这里我们把两条路都列出来。
7.1 Consistency Distillation(CD):有教师
核心想法:把 consistency 约束离散化到轨迹上的相邻两点。给定预训练 diffusion $\phi$:
采一个数据 $x_0 \sim p_{\text{data}}$ 和一个时刻索引 $n \in \{1, \dots, N-1\}$,对应时间网格上的 $t_{n+1}$。时间网格预设为 $\epsilon = t_1 < t_2 < \dots < t_N = T$,通常按 Karras schedule(ρ=7 的非均匀分布)。
Why:网格点越靠近 $\epsilon$ 越密,因为接近数据分布的部分变化最剧烈,需要更细的离散。核心理解:左边是网络在更晚的时间 $t_{n+1}$、更噪的输入 $x_{t_{n+1}}$ 上的预测,右边是网络(target 版本)在更早的时间 $t_n$、更干净的输入 $\hat{x}_{t_n}^\phi$ 上的预测。loss 让两边相等 → 同轨迹相邻两点输出一致。
Why EMA target:如果两边都是 $f_\theta$,梯度会让网络 collapse 到 trivial 解(比如恒输出 0 或常数)。这是自蒸馏的经典坑——你既是裁判又是运动员,作弊是最优解。冻结一侧(target $\theta^-$ 不接收梯度)、让另一侧追,是 BYOL / SimSiam / DINO 等自监督方法反复验证过的稳定化技巧。Song et al. 2023 把它直接搬过来用,效果立竿见影。
7.2 Consistency Training(CT):无教师
更进一步:连预训练 diffusion 都不要。直接用正向加噪过程替代教师:
- $x_{t_{n+1}} = x_0 + t_{n+1} \cdot z$
- $x_{t_n} = x_0 + t_n \cdot z$(同一个 $z$!)
损失换成:
$$L_{\text{CT}} = \mathbb{E}\big[ d\big(f_\theta(x_{t_{n+1}}, t_{n+1}), \; f_{\theta^-}(x_{t_n}, t_n)\big) \big]$$Why 这个能 work:当 $t_{n+1} - t_n \to 0$ 时,正向加噪过程的相邻两点和 PF-ODE 轨迹上的相邻两点方向上一致(差异是 $O((\Delta t)^2)$)。不需要教师,也能近似 consistency 约束。
八、采样:一次前向 vs 多步精修
8.1 单步采样
训完之后,采样就是三行代码:
$$x_T \sim \mathcal{N}(0, T^2 I), \quad x_0 \approx f_\theta(x_T, T)$$没有循环,没有 solver——一次 U-Net 前向。在 H100 上 1 张图大概 30-50 ms。对比 DDIM-50,相当于 50 倍加速;对比 DDPM-1000,相当于 1000 倍加速。整个 diffusion 加速史,这是最激进的一步。
8.2 多步"consistency sampling"
如果觉得一步质量不够,可以用 $N$ 步精修($N \in \{2, 4, 8\}$)。算法是"加噪-去噪"反复横跳:
- $x \leftarrow f_\theta(x_T, T)$(一步出初稿)
- For $n = 1, \dots, N-1$:
- 选一个中间时间 $\tau_n$;
- $x \leftarrow x + \sqrt{\tau_n^2 - \epsilon^2} \cdot z$(手动加回一些噪声);
- $x \leftarrow f_\theta(x, \tau_n)$(再用 consistency 函数去噪到 $\epsilon$)。
Why 这能提高质量:一次前向逼网络做"高斯 → 数据"的整个大跳跃,难度大;多步把跳跃拆成"小高斯偏移 → 修回轨迹"的几次小动作,等于让网络"自我修正"了几次。每次"加噪 → 去噪"都让样本在数据流形附近松动一下、重新落位,避免单次预测里那些没修干净的伪影一直挂着。Song et al. 给出的经验:CIFAR-10 上 1-step FID ≈ 3.55,2-step ≈ 2.93,4-step ≈ 2.83——多步带来的提升是非线性递减的,多数任务用 2-4 步就够。
九、PyTorch 训练骨架(CD 版本)
下面是 consistency distillation 最小可跑骨架,对应上面的形式化定义:
import torch
import torch.nn as nn
import torch.nn.functional as F
# ===== 0. 预设 =====
sigma_min, sigma_max, sigma_data = 0.002, 80.0, 0.5 # EDM 默认
N = 18 # 时间离散数
rho = 7.0 # Karras schedule 指数
def get_sigmas(N):
"""Karras schedule:sigma_i 按 ρ 次方非均匀分布"""
i = torch.arange(N)
sigmas = (sigma_max ** (1/rho) +
i / (N-1) * (sigma_min ** (1/rho) - sigma_max ** (1/rho))) ** rho
return sigmas # 从 sigma_max 到 sigma_min
# ===== 1. 参数化:保证边界条件 f(x, ε) = x =====
def c_skip(t):
return sigma_data ** 2 / ((t - sigma_min) ** 2 + sigma_data ** 2)
def c_out(t):
return sigma_data * (t - sigma_min) / torch.sqrt(sigma_data ** 2 + t ** 2)
def consistency_fn(F_theta, x, t):
"""f_θ(x, t) = c_skip(t)*x + c_out(t)*F_θ(x, t)"""
return c_skip(t).view(-1,1,1,1) * x + \
c_out(t).view(-1,1,1,1) * F_theta(x, t)
# ===== 2. CD 单步训练 =====
def cd_step(F_theta, F_theta_ema, teacher, x0, sigmas):
B = x0.shape[0]
n = torch.randint(0, N-1, (B,)) # 采一个时间索引
t_next, t_curr = sigmas[n+1], sigmas[n] # t_next > t_curr
# 加噪到 x_{t+1}
z = torch.randn_like(x0)
x_tnext = x0 + t_next.view(-1,1,1,1) * z
# 教师跑一步 PF-ODE solver(这里用最简单的 Euler)
with torch.no_grad():
score = teacher(x_tnext, t_next) # 教师预测 score
d = -t_next.view(-1,1,1,1) * score # ODE 右端项
x_tcurr_hat = x_tnext + (t_curr - t_next).view(-1,1,1,1) * d
# 学生在两点的预测
pred_next = consistency_fn(F_theta, x_tnext, t_next)
with torch.no_grad():
pred_curr = consistency_fn(F_theta_ema, x_tcurr_hat, t_curr)
# consistency loss
loss = F.mse_loss(pred_next, pred_curr)
return loss
# ===== 3. 主循环 =====
F_theta = UNet(...)
F_theta_ema = UNet(...) # 同结构,EMA target
F_theta_ema.load_state_dict(F_theta.state_dict())
teacher = load_pretrained_diffusion() # 冻结的教师
opt = torch.optim.AdamW(F_theta.parameters(), lr=1e-4)
for x0 in dataloader:
sigmas = get_sigmas(N).to(x0.device)
loss = cd_step(F_theta, F_theta_ema, teacher, x0, sigmas)
opt.zero_grad(); loss.backward(); opt.step()
# EMA 更新 target
with torch.no_grad():
mu = 0.999
for p, p_ema in zip(F_theta.parameters(), F_theta_ema.parameters()):
p_ema.data.mul_(mu).add_(p.data, alpha=1-mu)
# ===== 4. 一步采样 =====
@torch.no_grad()
def sample_one_step(F_theta):
x_T = torch.randn(1, 3, 32, 32) * sigma_max
t = torch.tensor([sigma_max])
return consistency_fn(F_theta, x_T, t)
• EMA target 必不可少——少了它训练 collapse;
• 距离函数:实践中 LPIPS 比 MSE 显著好(捕捉感知差异);
• 时间网格 N:Karras 等用 ρ=7 的非均匀 schedule(噪声大的地方密、噪声小的地方稀);
• 教师只跑 1 步 PF-ODE——这就是 consistency model 比 progressive distillation 便宜的根本原因(progressive distillation 要跑 2 步、4 步、8 步...)。
十、横向对比:所有"加速 diffusion"的方法
| 方法 | 改采样还是改模型? | 典型步数 | 需要教师? | 是否引入新损失 |
|---|---|---|---|---|
| DDIM | 采样 | 50 | 否 | 否 |
| DPM-Solver / Heun | 采样 | 20 | 否 | 否 |
| Progressive Distillation | 模型(递归) | 4-8 | 是 | MSE 到教师 $k$ 步终点 |
| Consistency Distillation | 模型 | 1-4 | 是 | 同轨迹两点输出一致 |
| Consistency Training | 模型 | 1-4 | 否(from scratch) | 同上,用正向加噪近似 |
| Rectified Flow / InstaFlow | 模型 | 1-2 | 是(造 offline 配对) | 回归到拉直后的 ODE |
十一、Consistency Model 之后的故事(教材外)
- Improved Consistency Training(Song & Dhariwal 2024):把 CT 的时间网格从离散改成连续、距离函数换成 Pseudo-Huber、去掉 EMA target,单步 FID 从 8.70 提到 2.83,反超 CD。这是 2024 年的关键进展。
- Latent Consistency Models (LCM)(Luo et al. 2023):把 consistency distillation 套在 Stable Diffusion 的 latent space 上,4 步出图,质量接近 50 步 SD。配套的 LCM-LoRA 可以以 LoRA 的方式加载到任何 SD 模型上,工程性极强。
- SD-Turbo / SDXL-Turbo(Sauer et al. 2023, Stability AI):consistency distillation + adversarial loss,1 步出 1024×1024 图。这是 ChatGPT/Discord 上"打字即出图"体验的技术基础之一。
- Multi-step CM as ODE solver:consistency function $f_\theta(x_t, t)$ 可以解释为 PF-ODE 的"非线性 solver"——给定任意 $(x_t, t)$,直接给出轨迹的未来。这把它和 flow matching 的"learn the velocity field" 路线连了起来。
纵观这条路线:diffusion → DDIM → PF-ODE → consistency model → LCM → SD-Turbo,整个 2022-2024 年的扩散加速史就是"如何把 1000 步的 sampling 压到 1 步"的接力赛。本章是这场接力赛的关键一棒。
十二、本章和前后章节的连接
- 本章依赖:第 13 章 Score-based SDE(score 是教师的产物);第 14 章 PF-ODE("轨迹"这个概念的载体)。
- 下一步:第 16 章 Flow Matching 会把"学一个 ODE"这条线推到更普适的版本——consistency model 和 flow matching 是同一波想法的两种实现。
- 横向:概念页:Consistency Models 汇总了 CD / CT / LCM / 改进 CT 等所有变体。
回头看本章的认知路径:我们从"diffusion 慢"出发,走过了"step distillation → progressive distillation → 直接 T 步蒸馏"的失败之路,然后换个角度发现"自洽性"这个本来藏在 ODE 轨迹里的不变量,再用一个简单的边界条件把它钉住——consistency model 就长出来了。理解了这个推导路径,你以后看任何"$N$-step 蒸馏"或"flow map" 类工作(比如 2024 年的 Improved CT、Shortcut Models、Mean Flow 等等),都能很快定位它和经典 consistency model 的差异点在哪里。这就是掌握一个领域的标志:不是记住每个论文的方法,而是认得清那条把它们串起来的故事线。
本章要记住的(讲师亲口给的核心)
- 问题:diffusion 慢,本质上是因为采样 = 解 ODE,需要多次 NFE。讲师原话:"Is there anything else we can do to accelerate inference?"
- 蒸馏 = 改模型的加速路线。Progressive distillation 让学生一步顶教师两步、递归 $\log T$ 代 → 4 步模型;但不能直接训"一步顶 T 步"。
- 直接一步匹配的三个问题(讲师课堂上揭穿):(a) 神经网络很难一步把高斯映到复杂分布;(b) 训练时每个 batch 要跑 T 步教师,慢且无法并行;(c) 多样性会下降。
- 转角度:"$t$ 是任意的" → 学生需要从任何 $t$ 都能跳到 $x_0$ → 同一轨迹上所有点输出相等 → "self-consistent"。这就是 consistency model 的核心。
- Consistency Property:$f_\theta(x_t, t) = f_\theta(x_s, s)$,$(x_t, t)$ 和 $(x_s, s)$ 在同一条 PF-ODE 轨迹上。这是横向约束。
- Boundary Condition:$f_\theta(x_\epsilon, \epsilon) = x_\epsilon$(轨迹起点恒等)。这是纵向锚点。两者缺一不可。讲师警告:"consistent itself could still generate garbage."
- 实现技巧:参数化 $f_\theta = c_{\text{skip}}(t) x + c_{\text{out}}(t) F_\theta(x, t)$ 让边界条件自动满足;EMA target 防 collapse;用 LPIPS 比 MSE 好;Karras Schedule 离散时间。
- 采样:一次前向(1 NFE)出图;可选多步"加噪-去噪"精修提质量。CIFAR-10 1-step FID ≈ 3,对比 DDPM 100+ 步。