第 18 章 · Module 5: 采样、引导与应用

Latent Diffusion 与视频扩散

在压缩空间做扩散——Stable Diffusion 的核心思想。


18. Latent Diffusion 与视频扩散

主源:CMU 10799 S26 Lecture 11《Guest Lecture - Linqi (Alex) Zhou from Luma AI》(chunk #1467–1486,Alex 从 Luma R3 视频模型的成果出发,铺垫"为什么大规模视觉生成都跑在扩散+流匹配上")。本章前半"Latent Diffusion 架构"为教材外补充(来自 Rombach et al. 2022 / Stable Diffusion 原文),用来把 Alex 关于"大模型落地"的现实背景接到具体的工程实现。

📌 TL;DR

到上一章 Classifier-Free Guidance 为止,我们已经具备了"在像素空间跑条件扩散"的全部理论。但如果你按字面意思训练 512×512×3 像素的 U-Net,单步前向就要在 786,432 维的张量上做卷积——训一个文生图模型要几百张 A100、几个月时间。Stable Diffusion / Latent Diffusion Model(LDM)的发明就是为了把这笔账砍掉两个数量级。

核心思想一句话:

$$\text{先用 VAE 把 } x \in \mathbb{R}^{512\times 512\times 3} \xrightarrow{E} z \in \mathbb{R}^{64\times 64\times 4} \text{,再在 } z \text{ 上扩散,最后 } D(z_0) \text{ 解码回像素。}$$

压缩比 $\tfrac{786432}{16384} \approx 48\times$,U-Net 单步 FLOPs 也跟着掉到 $\sim 1/48$,端到端训练/推理快 ~50 倍。这就是为什么你 2022 年开始能在一张 RTX 3090 上跑得动 Stable Diffusion。

本章的故事分三幕:

  1. 第一幕 · LDM 架构:冻结的 VAE 提供 latent space,扩散 U-Net 在 latent 上跑,cross-attention 把文本编码注进来。把 第 2 章 VAE 当"压缩工具"用,把扩散当"生成工具"用——两把工具拼起来。
  2. 第二幕 · 视频扩散:从单图扩到 $T$ 帧。三种主流配方:3D U-Net + 时序注意力(SVD / Runway)、图像扩散 + 光流动画(Image-as-Frame)、4D 时空 latent(Sora / Veo / Luma R3)。Alex 在课上展示的就是 Luma R3 的视频样本。
  3. 第三幕 · 现实成本与挑战:Alex 提示我们,跑这些大模型的真实瓶颈不只是训练,更是推理——一段 5 秒视频要解 50 步 ODE,每步都过一遍 100 亿参数的 U-Net。这就是为什么下一章的步数蒸馏 / Consistency Models 会被推上风口。

关键句子:"在像素上做扩散是浪费——大部分笔触/纹理细节,VAE 解码器自己能补回来。扩散模型只需要在'语义分辨率'上工作。"

一、为什么"在像素上扩散"是浪费?

从第 5 章 DDPM 到第 17 章 CFG,我们写的所有 $\epsilon_\theta(x_t, t, c)$ 都默认 $x_t$ 是一张真实分辨率的图像。这在 MNIST(28×28)或 CIFAR-10(32×32)上没问题,但一旦目标分辨率到 512×512×3,问题就严重了:

  • 单张图像 $786{,}432$ 维;
  • U-Net 每一层卷积都在这个尺寸上做(哪怕中间下采样到 64×64,回到顶层时还得是 512×512);
  • 训练 1 个 batch ≈ 几十 GB 显存;推理 50 步 ≈ 几分钟。

但是停下来想想:一张 512×512 的猫图,真正有信息量的是什么?

  • "这是一只橘猫"、"猫在沙发上"、"光从左边来"、"猫眯着眼"——这些是语义信息,是你描述给一个盲人朋友时会用到的词;
  • "第 (153, 287) 个像素的 R 通道是 218"——这是低层纹理细节,是高频噪声分量,是猫毛上单根毛发反射光的颜色起伏。

而扩散模型本质上在干两件事:学全局分布 + 学每一步去噪。逐像素纹理这种"高频细节",让一个独立训练的解码器去补全足够了——它不需要扩散模型操心。换句话说,给定"这是一张橘猫闭眼侧脸"的语义,你随便找一张高保真渲染器都能把毛发画好;但反过来不行,给一只画得很糙的猫,再厉害的去噪器也救不回猫到底有几条腿这种结构性信息。

Rombach 等人 2022 年的论文里给了个非常贴切的诊断:他们把训练好的像素空间扩散模型在不同噪声水平 $t$ 上分别可视化,发现绝大部分模型容量(参数、计算)都消耗在 $t$ 很小的"近似干净图像"区间——这一段干的活就是细化高频纹理。而真正决定生成质量的"语义构图"部分($t$ 较大、图像近乎噪声的阶段),所占比重反而很小。这是一个清晰的"capacity 错配"信号:模型在错的地方花了大力气。

💡 LDM 的核心 insight:把"语义生成"和"像素重建"解耦。VAE 解码器负责把低维 latent 渲染回高分辨率像素(高频纹理在这里恢复),扩散模型负责在 latent 上做"语义级别"的随机过程。两件事用两个网络做,各自高效。这种"分而治之"在工程上有个干净的好处:VAE 训一次就锁住,下游所有扩散变种(不同尺寸、不同条件、不同风格的微调)都共享同一套 latent 空间——一次性投入,长期复用。

二、Latent Diffusion 的三件套:E、D、$\epsilon_\theta$

LDM 的训练流程其实是个两阶段流水线。先训 VAE,再训 diffusion,VAE 在第二阶段是冻结的。这种"先固化基础设施再训上层模型"的结构在大模型时代非常常见——CLIP 文本编码器、Whisper 语音编码器都是类似的"先训一次,长期复用"的角色。理解 LDM 也最好这么理解:它把"图像 ↔ latent"的接口当成基础设施铺好,然后把扩散模型当成生产应用。

2.1 第一阶段:训一个高保真 VAE

不是 第 2 章那种用于 MNIST 的小 VAE,而是一个工程精良的"图像压缩 VAE"。LDM 论文里它叫 VQ-reg 或 KL-reg 两个变体;Stable Diffusion 用的是 KL-regularised continuous VAE(连续 latent,不是 VQ-VAE 那种离散码本)。

训练损失是三项之和:

$$L_{\text{VAE}}(E, D) \;=\; \underbrace{L_{\text{rec}}\big(x, D(E(x))\big)}_{\text{L1 + LPIPS 感知损失}} \;+\; \underbrace{\lambda_{\text{KL}} \cdot D_{\mathrm{KL}}\!\big(q(z|x)\,\|\,\mathcal{N}(0,I)\big)}_{\text{弱 KL 正则,}\lambda_{\text{KL}}\sim 10^{-6}} \;+\; \underbrace{\lambda_{\text{adv}} \cdot L_{\text{GAN}}(D(E(x)))}_{\text{PatchGAN 对抗损失}}$$
Why 三项缺一不可:
  • $L_{\text{rec}}$(L1 + LPIPS):纯 L2 重建会糊(VAE 经典毛病)。LPIPS 用预训练 VGG 特征比对,"看起来一样"而不是"像素一样"——保住语义边缘和纹理。
  • $\lambda_{\text{KL}}$ 取极小($\sim 10^{-6}$):和第 2 章 MNIST VAE 的 $\beta\sim 1$ 完全不同。LDM 的 KL 只要让 latent 大致规则(均值附近、方差有界),不需要严格高斯。因为我们不再从 $\mathcal{N}(0, I)$ 直接采 z,而是用扩散模型学 z 的真实分布。
  • $L_{\text{GAN}}$(PatchGAN):判别器逐 patch 判真假,强迫 decoder 输出"看起来真"的纹理——这就是为什么 SD 的 VAE 解码出来能保住毛发、皮肤毛孔这些高频。
⚠️ 容易混的点:LDM 的 VAE ≠ 用来"采样"的 VAE。第 2 章 VAE 训完后你可以从 $\mathcal{N}(0, I)$ 采 z 再 decode 直接生图。LDM 的 VAE 不能这么用——KL 正则太弱,从先验采 z 出来的 latent 不在数据流形上,解码出来是垃圾。LDM 的 VAE 只用来做"图像 ↔ latent"的编码-解码,生成这步交给扩散模型。

2.2 第二阶段:在 latent space 上跑扩散

VAE 训完冻结。现在你对每张训练图 $x$,预先算好 $z_0 = E(x)$,然后所有第 5 章学的 DDPM 训练流程原封不动跑在 $z_0$ 上:

$$z_t \;=\; \sqrt{\bar\alpha_t}\, z_0 \;+\; \sqrt{1-\bar\alpha_t}\, \epsilon, \qquad \epsilon \sim \mathcal{N}(0, I)$$ $$L_{\text{LDM}} \;=\; \mathbb{E}_{z_0, t, \epsilon, c}\!\left[\big\|\epsilon - \epsilon_\theta(z_t, t, c)\big\|^2\right]$$

注意 U-Net 现在的输入张量是 $64 \times 64 \times 4$(不是 $512 \times 512 \times 3$)。同样的 U-Net 拓扑、同样的简单损失——只是张量小了 48 倍。

2.3 推理:先 latent 再像素

采样时:

  1. 从 $\mathcal{N}(0, I)$ 采一个 $z_T \in \mathbb{R}^{64\times 64\times 4}$;
  2. 跑 50 步(或 DDIM 25 步、DPM-Solver 10 步……)反向扩散得到 $z_0$;
  3. 过一次 decoder:$x_0 = D(z_0)$,得到 $512\times 512$ 像素图。

整个过程,VAE 解码器只调用一次,所以它的"贵"被均摊掉了——50 步扩散全部在小张量上跑。

$x_0$ 512×512×3 Encoder $E$ 冻结 $z_0$ 64×64×4 Latent Diffusion U-Net $\epsilon_\theta(z_t, t, c)$ $z_T \to z_{T-1} \to \dots \to z_0$ ~50 步 DDIM ↑ cross-attn 注入 CLIP text emb $c$ $z_0$ 64×64×4 Decoder $D$ 冻结 训练:左半段(图 → latent) 推理:右半段(latent → 图),$z_T$ 从 $\mathcal{N}(0,I)$ 起步

三、和第 2 章 VAE 的关系:一句话总结

LDM = "VAE 做压缩" + "Diffusion 做生成"。第 2 章把 VAE 单独训出来既做压缩又做生成(从 $\mathcal{N}(0,I)$ 采 z),结果是糊的;LDM 让 VAE 专心做压缩,把"采样 z"的活交给一个真正擅长建模复杂分布的扩散模型。

把第 2 章的 ELBO 对照来看:

  • VAE 的 $p_\theta(x|z)$(decoder)→ LDM 的 $D$;
  • VAE 的 $q_\phi(z|x)$(encoder)→ LDM 的 $E$;
  • VAE 的 prior $p(z) = \mathcal{N}(0, I)$(强制)→ LDM 改为 $p_\theta(z)$ 由扩散模型隐式学到。

这是 VAE 家族的一次重大升级:prior 不再是写死的高斯,而是一个可学习的复杂分布。这个分布的复杂度由扩散模型容量决定。把这条线索摊开看,第 2 章我们抱怨过 VAE 的生成结果总是模糊的,那时候我们把锅甩给了 $L_2$ 重建损失。但更深的原因其实是:VAE 强求 $q(z|x) \approx \mathcal{N}(0, I)$ 这个先验本身就太弱——真实数据分布在 latent 空间里压根不是球形高斯,强行往球形高斯上撞,就只能"在球形内部模糊地平均"。LDM 没有改 VAE 的训练目标,只是把那个写死的球形高斯先验,换成一个可以拟合任意复杂分布的扩散模型。VAE 的容量没动,但整个系统的表达力被"先验升级"这一步彻底解放。

这个视角还能帮你理解一件事:为什么 LDM 的 VAE 训练里把 $\lambda_{\text{KL}}$ 调到 $10^{-6}$?因为这时候 KL 项的角色不再是"逼 $q$ 像 $\mathcal{N}(0, I)$",而仅仅是"防止 latent 数值发散"。KL 项的物理意义从"约束先验"退化为"轻量正则",剩下的真正先验由后面那个扩散模型来扛。

四、Cross-Attention:把"文字"塞进 U-Net

无条件 LDM 还不够——你要的是"打字 prompt,吐图"。在第 17 章我们已经学过 classifier-free guidance 怎么把"有条件 / 无条件"两个预测混合起来,但还没解答一个更基础的问题:条件 $c$ 到底以什么形式喂进 U-Net? LDM 给出的答案是 cross-attention。

4.1 文本编码器是谁?

  • Stable Diffusion 1.x:CLIP ViT-L/14(OpenAI 训的,~123M 参数)。
  • SD 2.x:OpenCLIP ViT-H/14(LAION 训的)。
  • SDXL:CLIP + OpenCLIP 双编码器 concat。
  • Imagen / DeepFloyd IF:T5-XXL(Google,11B参数)。Imagen 论文的发现:文本编码器大小比扩散模型大小对最终质量影响更显著。

无论哪个,输入 prompt $c$ 出来一组 token 表示 $\tau_\theta(c) \in \mathbb{R}^{L \times d_\text{text}}$($L$ 是 token 数量,$d_\text{text}$ 是隐藏维度)。

4.2 Cross-Attention 怎么接

U-Net 的每个 ResNet block 后面塞一个 cross-attention 层。设 U-Net 当前层特征图展平成 $h \in \mathbb{R}^{N \times d}$($N$ 是空间位置数),则:

$$Q = h W_Q, \quad K = \tau_\theta(c)\, W_K, \quad V = \tau_\theta(c)\, W_V$$ $$\text{Attention}(Q, K, V) \;=\; \text{softmax}\!\left(\frac{Q K^\top}{\sqrt{d_k}}\right) V$$
Why 这个设计:Query 来自图像 latent,Key/Value 来自文本。意思是"图像的每个位置,去文本里查它最关心哪些 token"。比如生成"a corgi wearing sunglasses"时,画到狗脸位置的 token 会强烈关注 "corgi",画到眼睛位置的 token 会关注 "sunglasses"。这就是 cross-attention 实现"空间感知的条件控制"的方式。
🧰 实践细节:cross-attention 是 SD 推理时显存大头之一。Memory-efficient attention(xFormers / Flash-Attention)让 $\mathcal{O}(N \cdot L)$ 的注意力矩阵不再显式存储,单卡能跑 1024×1024 全靠这个优化。

五、成本账:48× latent 压缩 = 50× 训练加速

这一节算笔账,体感会更强。

指标 像素空间扩散 LDM 比值
张量维度 512×512×3 = 786,432 64×64×4 = 16,384 48×
U-Net 单步 FLOPs ~1 TFLOPs ~22 GFLOPs ~50×
batch size(A100 40GB) ~4 ~64 16×
每秒可处理样本 ~0.5 ~25 ~50×

"50 倍"不是 LDM 论文的宣传话术,是张量维度、显存占用、batch size 三者相乘的实测结果。这就是为什么 2022 年 8 月 SD 1.4 发布后,个人开发者第一次能在 RTX 3090 上生成 512×512 图——之前同样质量需要 8 张 V100。

还有一个常常被忽略的副作用:因为 latent 张量小、batch 大,训练的统计有效性也提高了。同样一个梯度更新看到的样本数从 4 变成 64,BN/LayerNorm 的统计更稳,梯度噪声更小。这就是为什么 LDM 在相同 GPU hours下达到的 FID 还显著优于像素空间模型——不只是单步计算便宜,连每次更新带来的"学习信号"质量都更高。压缩是一笔三重红利:算得快、显存省、梯度更干净。

🟡 教材外补充:DiT 把 U-Net 换成了 Transformer
Peebles & Xie 2023 的 DiT(Diffusion Transformer)证明,LDM 框架不绑死 U-Net。把 latent $z_t$ patchify 成 token 序列,丢进 Transformer,扩散一样训。Sora / Stable Diffusion 3 / Flux 全部走 DiT 路线。LDM 真正普适的部分是"在 latent 上扩散"这个思想,不是 U-Net 这个具体架构。

六、从图到视频:扩散维度再升一阶

Alex 在 chunk #1468–1469 里说 Luma 训了一个叫 R3 的文生视频模型,"擅长生成运动和真实角色动画"。背后的技术框架就是视频扩散(Video Diffusion)。把图像扩散从 $\mathbb{R}^{H \times W \times C}$ 推广到视频 $\mathbb{R}^{T \times H \times W \times C}$,多了一个时间维度 $T$,听起来"只是多一维",但工程上是质变——一个 5 秒 24fps 视频就是 120 帧,每帧本身已经是个高维张量,整段视频的总维度比单张图像大 100 倍以上。主流的应对策略大致可以分成三种配方,每种都对应一类落地模型,下面逐个拆。

"And at Luma we also train large scale text to video models that excel at realism."(Alex Zhou, CMU 10799 L11, chunk #1468)—— 整段课的开场就是为了说明:现在所有大厂的 text-to-video,无一例外建在扩散/流匹配之上。

6.1 配方 A:3D U-Net + 时序注意力(Image+Motion)

最直接的扩展:把 2D U-Net 改成 3D U-Net(卷积核加一个时间维度),或者更常见的做法——2D U-Net 串一个时序注意力:

  • 空间注意力 / 卷积:每帧内部,和图像扩散一样;
  • 时序注意力:跨帧,在 $T$ 维度上做 self-attention,让帧之间"看到对方",保证一致性。

代表作:

  • Video Diffusion Models(Ho et al. 2022,首篇)
  • Imagen Video(Google 2022,多级超分级联)
  • Make-A-Video(Meta 2022)
  • AnimateDiff / Stable Video Diffusion(Stability AI 2023):直接拿预训练 SD 的 U-Net,只在新加的时序注意力层上微调。
  • Runway Gen-2(商用)

训练数据:(video, caption) 对,loss 还是简单的 ε-prediction MSE,只不过 $\epsilon \in \mathbb{R}^{T \times H \times W \times C}$。

6.2 配方 B:图像扩散 + 动画化(Image-as-Frame)

更轻量的路线:压根不训视频模型。流程:

  1. 用预训练 SD 生成一张图(首帧);
  2. 用光流模型预测后续帧的运动场;
  3. 把首帧按运动场 warp 到后续每一帧。

代表作:Animate Anyone、早期 Deforum SD、各种 ControlNet + AnimateDiff 流水线。优点:训练成本几乎为零(只训 motion module);缺点:长视频会漂、复杂运动会塌(光流估不准)。

6.3 配方 C:4D 时空 latent(Sora / Veo 路线)

最现代、性能最强的路线,也是 Alex 在 Luma 实际在用的路线。它把 LDM 思想再升一阶——既然 LDM 把"图像维度"压下来了,那为什么不连"时间维度"也一起压?

  • 训一个 时空 VAE,把 $\mathbb{R}^{T \times H \times W \times C}$ 压成 $\mathbb{R}^{T' \times H' \times W' \times C'}$(时间也压,比如 $T'=T/4$);
  • 在这个 4D latent 上跑 DiT(注意:U-Net 在这里通常被抛弃,因为 Transformer 更适合处理长 token 序列);
  • 解码:4D latent → 像素视频。

代表作:

  • Sora(OpenAI 2024):spacetime patches + DiT,号称能生成 1 分钟 1080p 视频;
  • Veo / Veo 2(Google DeepMind 2024–2025);
  • Luma R3 / Dream Machine(Alex 在课上展示的就是这条路线的产物);
  • Kling、Hailuo、Hunyuan Video(国内开源 / 商用)。

这条路线为什么质量最强?因为时空 VAE 一并把时间冗余也压掉了——相邻几帧之间像素差异往往很小,VAE 可以用一个 latent token 表示几帧的合成信息。这相比"逐帧编码再加时序 attention"省了大量重复计算,也让 DiT 的 token 序列更短、长程依赖更容易学。代价是:时空 VAE 自己就难训练(既要重建空间高频也要重建时间细节),训练这一步现在反而成了视频模型最难复现的工程门槛。

三种视频扩散配方 A · 3D U-Net + 时序 attn Stable Video Diffusion / Gen-2 每帧 2D 扩散 时序 attn 跨帧 轻量、可复用 SD checkpoint B · Image-as-Frame AnimateDiff / Deforum SD 出首帧 光流 warp 后续帧 几乎零训练成本,但运动易塌 C · 4D 时空 latent Sora / Veo / Luma R3 时空 VAE 压缩 T×H×W×C → T'×H'×W'×C' DiT 在 4D latent 扩散 质量最强、训练最贵
🟡 教材外补充:Sora 的"spacetime patches"
Sora 论文的关键技术报告里讲,它把视频 latent 切成时空 patch(比如 $2 \times 16 \times 16$,时间方向 2 帧、空间 16×16),每个 patch flatten 成一个 token,喂进 DiT。这让 Sora 能统一处理不同长度、分辨率、宽高比的视频(不像传统视频模型必须固定 16 帧 256×256)。这是 LDM "latent + token-based diffusion" 思想在视频上的极致演绎。

七、视频扩散的四个老大难

视频比图像难的不只是"维度高 $T$ 倍",而是引入了四类新挑战:

7.1 时序一致性(Temporal Coherence)

同一个物体在第 1 帧是橘猫、第 5 帧变成黑猫——这是早期视频扩散的"招牌 bug",业内戏称"角色漂移"。出现的根本原因是每一帧的去噪是相对独立的随机过程,如果没有强力的跨帧约束,模型每帧都在自己重新"想象"主角长什么样。修法主要有:

  • 时序注意力让帧间互通;
  • 训练时数据集要有大量真实视频而不是图像 + 假动画;
  • 采样时用固定 noise seed for all frames(同一个 $\epsilon$ 在所有帧间共享一部分),从噪声层就保持一致。
  • 提供"角色参考图"作为额外条件——这就是 Alex 提到的 character reference 任务,等价于给模型一张"主角的身份证"。

7.2 运动合理性(Motion Plausibility)

"一只猫从沙发跳到桌子"——猫的肢体协调、重力、惯性都要对。这是世界模型层面的挑战,纯靠扩散模型从数据里学,需要海量真实视频(YouTube 全网级别)。Sora 据传训练数据规模是几亿条视频。可控运动还有个更隐蔽的难题:模型生成的"动"很容易退化成"摄像机平移"或者"整体缩放"——因为这是统计上最简单的"动"。让物体真的产生结构性形变(比如人走路时腿真的在弯)需要数据集本身的运动多样性足够丰富,而不是清一色的延时摄影、航拍片段。

7.3 长视频生成(Long-form)

5 秒视频 ≈ 120 帧。10 分钟视频 ≈ 14400 帧。直接训练时空 DiT 处理一万帧的 attention 矩阵太大。主流解法:

  • 滑动窗口生成:每次生成 8 秒,下一段以上一段最后 1 秒为条件;
  • 层级 / 关键帧 + 插帧:先生成 10 个关键帧,再插帧;
  • autoregressive over chunks:把视频分块,块间 autoregressive、块内扩散。

7.4 可控性(Controllability)

用户想要的不是"随机一段猫的视频",而是"这只特定的猫,做这个特定动作,相机这样运镜"。条件信号要从单一文本扩到:

  • 首帧图(image-to-video);
  • 运动轨迹(drag-based control,如 DragNUWA);
  • 相机轨迹(camera control);
  • 角色参考(character reference,Alex 在 chunk #1475 提到过这是 Luma 的实际业务任务之一);
  • 深度图 / 姿态序列(ControlNet for video)。
Alex 在 chunk #1475 谈到为什么"步骤蒸馏"在生产环境很贵:「after training a good text to video model, we usually need to train task specific modules for different tasks such as video editing, image to video task and character reference tasks」——每个任务一个 module,每个 module 都要重新做一遍步数蒸馏。这就是视频扩散落地的真实成本结构。

八、推理成本:为什么"步数蒸馏"对视频是刚需

这是 Alex 这堂课的真正主线。在 chunk #1472–1476 他反复强调一个事实:

"diffusion models scale very poorly with inference compute"——步数砍到几步以下,质量直线掉。但 50 步 ODE,对于视频生成意味着 50 × (T 帧 × U-Net cost) 的推理成本。一个 5 秒 24fps 视频在 H100 上要跑几分钟。

Alex 在课上用一张图清楚地画出了这件事:横轴是采样步数,纵轴是模型质量。普通扩散模型这条曲线长得像个"陡坡上山"——步数很少时质量很差,必须跑到几十甚至上百步才能爬到山顶。而他在画的"理想模型"是另一条几乎水平的绿色直线——步数不论多少,质量都接近最优。Alex 给这种性质起了个名字:"efficient inference time scaling"(高效的推理时缩放)。这是少步生成研究的明星指标。

所以下一章 蒸馏与少步采样 不是"锦上添花",而是视频扩散能否商业化的生死线。具体看 Alex 在课上比对的两条路:

  • 两阶段路线(pre-train + distill):先训扩散模型,再用 Consistency Distillation / DMD 等方法蒸馏成 1–4 步模型。问题:DMD 要训两个网络、调参敏感;每个新任务(视频编辑、角色参考……)都得重蒸一遍。
  • 单阶段路线(直接从头训少步模型):Alex 介绍的 Luma 自研工作—— Inductive Moment Matching 和 Terminal Velocity Matching——目标是用一个训练 pipeline 直接得到一个 1–4 步采样的模型,跳过蒸馏阶段。
ℹ️ 本章和下一章的衔接:第 18 章告诉你"扩散在 latent 上跑"是 SD 之后所有大模型的基础;第 19 章则告诉你"在 latent 上跑得再快也不够,必须把 50 步压成几步"。LDM 是空间维度的节省,蒸馏是时间维度的节省。两者正交叠加,才有今天我们体验到的"几秒出图、十几秒出视频"。

九、PyTorch 实现骨架:LDM 训练步

下面是 LDM 一次训练迭代的最小骨架(省略了数据加载、optimizer 等模板代码)。注意 VAE 在 no_grad 里——它是冻结的。

import torch
import torch.nn.functional as F

# 假设这些模块已实例化、加载预训练权重
vae         = VAE().eval()              # 冻结的 KL-reg VAE(encoder + decoder)
text_encoder = CLIPTextEncoder().eval() # 冻结的 CLIP
unet        = UNet2DCondition()         # 可训练,cross-attn 接收 text emb
scheduler   = DDPMScheduler(T=1000)     # β 调度(cosine 或 linear)

for x, caption in dataloader:           # x: [B,3,512,512]   caption: List[str]
    # ----- 1. 编码到 latent(冻结,不计梯度) -----
    with torch.no_grad():
        z0 = vae.encode(x).sample()     # [B,4,64,64],乘以 0.18215 标准化
        z0 = z0 * 0.18215
        c  = text_encoder(caption)      # [B,77,768],CLIP token 表示

    # ----- 2. 随机时间步 + 加噪 -----
    B = z0.size(0)
    t = torch.randint(0, scheduler.T, (B,), device=z0.device)
    eps = torch.randn_like(z0)
    zt = scheduler.add_noise(z0, eps, t)  # √ᾱ_t z0 + √(1-ᾱ_t) ε

    # ----- 3. Classifier-free guidance 风格的条件 dropout -----
    mask = (torch.rand(B, device=z0.device) < 0.1).view(B, 1, 1)
    c_in = torch.where(mask, torch.zeros_like(c), c)  # 10% 把条件清零

    # ----- 4. U-Net 预测 ε,cross-attn 注入 c_in -----
    eps_pred = unet(zt, t, encoder_hidden_states=c_in)  # [B,4,64,64]

    # ----- 5. 简单 MSE loss -----
    loss = F.mse_loss(eps_pred, eps)
    loss.backward()
    optimizer.step()
    optimizer.zero_grad()


# ===== 推理(采样)伪代码 =====
@torch.no_grad()
def sample(prompt, w=7.5, num_steps=50):
    c = text_encoder([prompt])           # 条件
    c_uncond = text_encoder([""])        # 无条件(empty prompt)
    zT = torch.randn(1, 4, 64, 64).cuda()
    for t in scheduler.timesteps(num_steps):
        eps_c   = unet(zT, t, encoder_hidden_states=c)
        eps_u   = unet(zT, t, encoder_hidden_states=c_uncond)
        eps_hat = (1 + w) * eps_c - w * eps_u   # CFG,见第 17 章
        zT = scheduler.step(eps_hat, zT, t)     # DDIM / DPM-Solver 单步
    z0 = zT / 0.18215
    x  = vae.decode(z0)
    return x  # [1,3,512,512]
🧰 那个神秘的 0.18215:SD 1.x 训练时统计了 VAE latent 的标准差,乘 0.18215 让 latent 接近单位方差。这是纯工程常数,但你看代码时绕不开它。SDXL 改成 0.13025,因为 VAE 不同。

十、和"流匹配"的关系:同一件事的两种命名

读到这里你可能会困惑:Alex 整堂课嘴里挂着的不是 "diffusion",而是 "diffusion and flow matching"。这两个词到底是什么关系?要不要在 LDM 里换成 flow matching?简短答案:flow matching 是 diffusion 的一个等价重表述,目标分布、神经网络的输入输出都几乎一样,只是把"预测噪声 $\epsilon$"换成"预测速度场 $v$",把概率流 ODE 写成更干净的形式。在 LDM 框架里,你可以把扩散 U-Net 换成 flow matching U-Net 一行代码改完,整体架构(VAE 编码器 + latent ε / v 网络 + 解码器)不变。

Alex 在 chunk #1471 里说:"the job of diffusion models and flow matching is to learn this velocity field with a neural network"——他强调两者是同一类问题的两个名字。Stable Diffusion 3 / Flux 已经全面切到 flow matching;Sora 据透露也是 flow matching。但这不影响本章 LDM 的核心思想:无论是 ε 预测还是 v 预测,都跑在 VAE 提供的 latent space 上。LDM 是"在哪里跑"的问题;diffusion vs flow matching 是"用什么目标跑"的问题。两者正交。

ℹ️ 记忆口诀:把 LDM 当成"操作系统",diffusion 和 flow matching 是同一个操作系统上的两个"应用层算法"。下一步如果再出现新的生成范式(比如最近的 mean flow、shortcut models),只要它们仍在低维 latent 上工作,它们就还在 LDM 的版图里。

十一、把这一章接到全局:扩散模型的"省钱进化树"

把 18 章及前后的内容串成一棵进化树:

  • 2020 · DDPM(第 5 章):像素空间 256×256,几百张 V100 才能跑。
  • 2021 · Improved DDPM / ADM:cosine 调度、可学习方差,像素空间继续战斗。
  • 2022 · LDM / Stable Diffusion(本章):空间压缩 48×,个人显卡能跑。
  • 2022–2023 · DDIM / DPM-Solver(第 16 章):步数从 1000 砍到 20。
  • 2023 · Consistency Models / LCM(第 19 章):步数砍到 1–4 步。
  • 2023 · ControlNet / IP-Adapter(第 20 章):把条件信号从文本扩到深度图、姿态、参考图。
  • 2024 · DiT / Sora / SD3 / Flux:U-Net 让位给 Transformer,扩 latent 思想搬到视频和 4D。
  • 2024–2025 · Luma R3 / Veo 2:4D 时空 latent + DiT + 步数蒸馏,端到端推理几秒一段视频。

注意:这棵树上的每一个节点都没有抛弃前一个节点。LDM 是 DDPM 的"省空间"版本,Consistency 是 DDIM 的"省时间"版本,DiT 是 LDM 的"换骨架"版本。所有这些优化在工业模型里是叠加使用的——一个现代视频模型同时享受 latent 压缩 + 步数蒸馏 + Transformer 骨架的好处。

💡 把这章当作"分水岭":第 18 章之前,我们讨论的扩散是 academic-scale 的(MNIST、CIFAR、ImageNet 64×64);从这章开始,我们正式进入 production-scale 的扩散(512×512 文生图、5 秒视频)。理论没变,工程变了——而本章就是工程把扩散救活的那一招。
📺 CMU 10799 S26 Lecture 11(00:44 起)—— Alex 用 Luma R3 视频样本开场,铺垫"为什么所有视觉大模型都跑扩散"。
🟡 教材外补充:Latent Diffusion 的"概念地图"
如果你在学 SD 二次开发(LoRA、ControlNet、IP-Adapter 等),所有这些技术都建在 LDM 的 latent space 之上,而不是在像素上工作。这是因为 SD 的 cross-attention 层在 latent 维度,所有插拔式扩展只需要面对 64×64 的张量,不用考虑像素分辨率。LDM 这个"latent 中间层"成了 Stable Diffusion 生态系统的"操作系统"——所有插件都是它的应用层。

本章要记住的

  1. LDM 核心洞察:"像素扩散在浪费 capacity"——纹理交给 VAE decoder,扩散只管语义。压缩 48×,端到端加速 ~50×。
  2. 三件套:冻结的 VAE encoder $E$ + 可训练 U-Net $\epsilon_\theta$ + 冻结的 VAE decoder $D$。第一阶段训 VAE(L1+LPIPS+弱 KL+GAN),第二阶段在 latent 上跑标准 DDPM。
  3. 和第 2 章 VAE 的关系:LDM = "VAE 做压缩 + Diffusion 做生成"。第 2 章的强 KL prior 被换成可学习的扩散 prior,这是 VAE 家族的重大升级。
  4. Cross-attention 注入条件:Q 来自 latent,K/V 来自 CLIP/T5 文本编码。"空间位置查询文本 token"——这是 SD 实现 prompt 控制的根本机制。
  5. 视频扩散三配方:A) 3D U-Net + 时序注意力(SVD/Gen-2);B) Image-as-Frame + 光流(AnimateDiff);C) 4D 时空 latent + DiT(Sora/Veo/Luma R3)。Alex 在课上展示的 R3 走的是 C。
  6. 视频四大难:时序一致性、运动合理性、长视频、可控性。每一个都还在 active research。
  7. 本章承上启下:LDM 解决"空间维度的浪费",下一章 Consistency / 蒸馏解决"时间维度的浪费"。Alex 这堂课的真正主线是后者—— Inductive Moment Matching、Terminal Velocity Matching 都是为了用一个训练 pipeline 直接拿到 1–4 步采样的模型。