Latent Diffusion 与视频扩散
在压缩空间做扩散——Stable Diffusion 的核心思想。
18. Latent Diffusion 与视频扩散
主源:CMU 10799 S26 Lecture 11《Guest Lecture - Linqi (Alex) Zhou from Luma AI》(chunk #1467–1486,Alex 从 Luma R3 视频模型的成果出发,铺垫"为什么大规模视觉生成都跑在扩散+流匹配上")。本章前半"Latent Diffusion 架构"为教材外补充(来自 Rombach et al. 2022 / Stable Diffusion 原文),用来把 Alex 关于"大模型落地"的现实背景接到具体的工程实现。
📌 TL;DR
到上一章 Classifier-Free Guidance 为止,我们已经具备了"在像素空间跑条件扩散"的全部理论。但如果你按字面意思训练 512×512×3 像素的 U-Net,单步前向就要在 786,432 维的张量上做卷积——训一个文生图模型要几百张 A100、几个月时间。Stable Diffusion / Latent Diffusion Model(LDM)的发明就是为了把这笔账砍掉两个数量级。
核心思想一句话:
$$\text{先用 VAE 把 } x \in \mathbb{R}^{512\times 512\times 3} \xrightarrow{E} z \in \mathbb{R}^{64\times 64\times 4} \text{,再在 } z \text{ 上扩散,最后 } D(z_0) \text{ 解码回像素。}$$压缩比 $\tfrac{786432}{16384} \approx 48\times$,U-Net 单步 FLOPs 也跟着掉到 $\sim 1/48$,端到端训练/推理快 ~50 倍。这就是为什么你 2022 年开始能在一张 RTX 3090 上跑得动 Stable Diffusion。
本章的故事分三幕:
- 第一幕 · LDM 架构:冻结的 VAE 提供 latent space,扩散 U-Net 在 latent 上跑,cross-attention 把文本编码注进来。把 第 2 章 VAE 当"压缩工具"用,把扩散当"生成工具"用——两把工具拼起来。
- 第二幕 · 视频扩散:从单图扩到 $T$ 帧。三种主流配方:3D U-Net + 时序注意力(SVD / Runway)、图像扩散 + 光流动画(Image-as-Frame)、4D 时空 latent(Sora / Veo / Luma R3)。Alex 在课上展示的就是 Luma R3 的视频样本。
- 第三幕 · 现实成本与挑战:Alex 提示我们,跑这些大模型的真实瓶颈不只是训练,更是推理——一段 5 秒视频要解 50 步 ODE,每步都过一遍 100 亿参数的 U-Net。这就是为什么下一章的步数蒸馏 / Consistency Models 会被推上风口。
关键句子:"在像素上做扩散是浪费——大部分笔触/纹理细节,VAE 解码器自己能补回来。扩散模型只需要在'语义分辨率'上工作。"
一、为什么"在像素上扩散"是浪费?
从第 5 章 DDPM 到第 17 章 CFG,我们写的所有 $\epsilon_\theta(x_t, t, c)$ 都默认 $x_t$ 是一张真实分辨率的图像。这在 MNIST(28×28)或 CIFAR-10(32×32)上没问题,但一旦目标分辨率到 512×512×3,问题就严重了:
- 单张图像 $786{,}432$ 维;
- U-Net 每一层卷积都在这个尺寸上做(哪怕中间下采样到 64×64,回到顶层时还得是 512×512);
- 训练 1 个 batch ≈ 几十 GB 显存;推理 50 步 ≈ 几分钟。
但是停下来想想:一张 512×512 的猫图,真正有信息量的是什么?
- "这是一只橘猫"、"猫在沙发上"、"光从左边来"、"猫眯着眼"——这些是语义信息,是你描述给一个盲人朋友时会用到的词;
- "第 (153, 287) 个像素的 R 通道是 218"——这是低层纹理细节,是高频噪声分量,是猫毛上单根毛发反射光的颜色起伏。
而扩散模型本质上在干两件事:学全局分布 + 学每一步去噪。逐像素纹理这种"高频细节",让一个独立训练的解码器去补全足够了——它不需要扩散模型操心。换句话说,给定"这是一张橘猫闭眼侧脸"的语义,你随便找一张高保真渲染器都能把毛发画好;但反过来不行,给一只画得很糙的猫,再厉害的去噪器也救不回猫到底有几条腿这种结构性信息。
Rombach 等人 2022 年的论文里给了个非常贴切的诊断:他们把训练好的像素空间扩散模型在不同噪声水平 $t$ 上分别可视化,发现绝大部分模型容量(参数、计算)都消耗在 $t$ 很小的"近似干净图像"区间——这一段干的活就是细化高频纹理。而真正决定生成质量的"语义构图"部分($t$ 较大、图像近乎噪声的阶段),所占比重反而很小。这是一个清晰的"capacity 错配"信号:模型在错的地方花了大力气。
二、Latent Diffusion 的三件套:E、D、$\epsilon_\theta$
LDM 的训练流程其实是个两阶段流水线。先训 VAE,再训 diffusion,VAE 在第二阶段是冻结的。这种"先固化基础设施再训上层模型"的结构在大模型时代非常常见——CLIP 文本编码器、Whisper 语音编码器都是类似的"先训一次,长期复用"的角色。理解 LDM 也最好这么理解:它把"图像 ↔ latent"的接口当成基础设施铺好,然后把扩散模型当成生产应用。
2.1 第一阶段:训一个高保真 VAE
不是 第 2 章那种用于 MNIST 的小 VAE,而是一个工程精良的"图像压缩 VAE"。LDM 论文里它叫 VQ-reg 或 KL-reg 两个变体;Stable Diffusion 用的是 KL-regularised continuous VAE(连续 latent,不是 VQ-VAE 那种离散码本)。
训练损失是三项之和:
$$L_{\text{VAE}}(E, D) \;=\; \underbrace{L_{\text{rec}}\big(x, D(E(x))\big)}_{\text{L1 + LPIPS 感知损失}} \;+\; \underbrace{\lambda_{\text{KL}} \cdot D_{\mathrm{KL}}\!\big(q(z|x)\,\|\,\mathcal{N}(0,I)\big)}_{\text{弱 KL 正则,}\lambda_{\text{KL}}\sim 10^{-6}} \;+\; \underbrace{\lambda_{\text{adv}} \cdot L_{\text{GAN}}(D(E(x)))}_{\text{PatchGAN 对抗损失}}$$- $L_{\text{rec}}$(L1 + LPIPS):纯 L2 重建会糊(VAE 经典毛病)。LPIPS 用预训练 VGG 特征比对,"看起来一样"而不是"像素一样"——保住语义边缘和纹理。
- $\lambda_{\text{KL}}$ 取极小($\sim 10^{-6}$):和第 2 章 MNIST VAE 的 $\beta\sim 1$ 完全不同。LDM 的 KL 只要让 latent 大致规则(均值附近、方差有界),不需要严格高斯。因为我们不再从 $\mathcal{N}(0, I)$ 直接采 z,而是用扩散模型学 z 的真实分布。
- $L_{\text{GAN}}$(PatchGAN):判别器逐 patch 判真假,强迫 decoder 输出"看起来真"的纹理——这就是为什么 SD 的 VAE 解码出来能保住毛发、皮肤毛孔这些高频。
2.2 第二阶段:在 latent space 上跑扩散
VAE 训完冻结。现在你对每张训练图 $x$,预先算好 $z_0 = E(x)$,然后所有第 5 章学的 DDPM 训练流程原封不动跑在 $z_0$ 上:
$$z_t \;=\; \sqrt{\bar\alpha_t}\, z_0 \;+\; \sqrt{1-\bar\alpha_t}\, \epsilon, \qquad \epsilon \sim \mathcal{N}(0, I)$$ $$L_{\text{LDM}} \;=\; \mathbb{E}_{z_0, t, \epsilon, c}\!\left[\big\|\epsilon - \epsilon_\theta(z_t, t, c)\big\|^2\right]$$注意 U-Net 现在的输入张量是 $64 \times 64 \times 4$(不是 $512 \times 512 \times 3$)。同样的 U-Net 拓扑、同样的简单损失——只是张量小了 48 倍。
2.3 推理:先 latent 再像素
采样时:
- 从 $\mathcal{N}(0, I)$ 采一个 $z_T \in \mathbb{R}^{64\times 64\times 4}$;
- 跑 50 步(或 DDIM 25 步、DPM-Solver 10 步……)反向扩散得到 $z_0$;
- 过一次 decoder:$x_0 = D(z_0)$,得到 $512\times 512$ 像素图。
整个过程,VAE 解码器只调用一次,所以它的"贵"被均摊掉了——50 步扩散全部在小张量上跑。
三、和第 2 章 VAE 的关系:一句话总结
把第 2 章的 ELBO 对照来看:
- VAE 的 $p_\theta(x|z)$(decoder)→ LDM 的 $D$;
- VAE 的 $q_\phi(z|x)$(encoder)→ LDM 的 $E$;
- VAE 的 prior $p(z) = \mathcal{N}(0, I)$(强制)→ LDM 改为 $p_\theta(z)$ 由扩散模型隐式学到。
这是 VAE 家族的一次重大升级:prior 不再是写死的高斯,而是一个可学习的复杂分布。这个分布的复杂度由扩散模型容量决定。把这条线索摊开看,第 2 章我们抱怨过 VAE 的生成结果总是模糊的,那时候我们把锅甩给了 $L_2$ 重建损失。但更深的原因其实是:VAE 强求 $q(z|x) \approx \mathcal{N}(0, I)$ 这个先验本身就太弱——真实数据分布在 latent 空间里压根不是球形高斯,强行往球形高斯上撞,就只能"在球形内部模糊地平均"。LDM 没有改 VAE 的训练目标,只是把那个写死的球形高斯先验,换成一个可以拟合任意复杂分布的扩散模型。VAE 的容量没动,但整个系统的表达力被"先验升级"这一步彻底解放。
这个视角还能帮你理解一件事:为什么 LDM 的 VAE 训练里把 $\lambda_{\text{KL}}$ 调到 $10^{-6}$?因为这时候 KL 项的角色不再是"逼 $q$ 像 $\mathcal{N}(0, I)$",而仅仅是"防止 latent 数值发散"。KL 项的物理意义从"约束先验"退化为"轻量正则",剩下的真正先验由后面那个扩散模型来扛。
四、Cross-Attention:把"文字"塞进 U-Net
无条件 LDM 还不够——你要的是"打字 prompt,吐图"。在第 17 章我们已经学过 classifier-free guidance 怎么把"有条件 / 无条件"两个预测混合起来,但还没解答一个更基础的问题:条件 $c$ 到底以什么形式喂进 U-Net? LDM 给出的答案是 cross-attention。
4.1 文本编码器是谁?
- Stable Diffusion 1.x:CLIP ViT-L/14(OpenAI 训的,~123M 参数)。
- SD 2.x:OpenCLIP ViT-H/14(LAION 训的)。
- SDXL:CLIP + OpenCLIP 双编码器 concat。
- Imagen / DeepFloyd IF:T5-XXL(Google,11B参数)。Imagen 论文的发现:文本编码器大小比扩散模型大小对最终质量影响更显著。
无论哪个,输入 prompt $c$ 出来一组 token 表示 $\tau_\theta(c) \in \mathbb{R}^{L \times d_\text{text}}$($L$ 是 token 数量,$d_\text{text}$ 是隐藏维度)。
4.2 Cross-Attention 怎么接
U-Net 的每个 ResNet block 后面塞一个 cross-attention 层。设 U-Net 当前层特征图展平成 $h \in \mathbb{R}^{N \times d}$($N$ 是空间位置数),则:
$$Q = h W_Q, \quad K = \tau_\theta(c)\, W_K, \quad V = \tau_\theta(c)\, W_V$$ $$\text{Attention}(Q, K, V) \;=\; \text{softmax}\!\left(\frac{Q K^\top}{\sqrt{d_k}}\right) V$$五、成本账:48× latent 压缩 = 50× 训练加速
这一节算笔账,体感会更强。
| 指标 | 像素空间扩散 | LDM | 比值 |
|---|---|---|---|
| 张量维度 | 512×512×3 = 786,432 | 64×64×4 = 16,384 | 48× |
| U-Net 单步 FLOPs | ~1 TFLOPs | ~22 GFLOPs | ~50× |
| batch size(A100 40GB) | ~4 | ~64 | 16× |
| 每秒可处理样本 | ~0.5 | ~25 | ~50× |
"50 倍"不是 LDM 论文的宣传话术,是张量维度、显存占用、batch size 三者相乘的实测结果。这就是为什么 2022 年 8 月 SD 1.4 发布后,个人开发者第一次能在 RTX 3090 上生成 512×512 图——之前同样质量需要 8 张 V100。
还有一个常常被忽略的副作用:因为 latent 张量小、batch 大,训练的统计有效性也提高了。同样一个梯度更新看到的样本数从 4 变成 64,BN/LayerNorm 的统计更稳,梯度噪声更小。这就是为什么 LDM 在相同 GPU hours下达到的 FID 还显著优于像素空间模型——不只是单步计算便宜,连每次更新带来的"学习信号"质量都更高。压缩是一笔三重红利:算得快、显存省、梯度更干净。
Peebles & Xie 2023 的 DiT(Diffusion Transformer)证明,LDM 框架不绑死 U-Net。把 latent $z_t$ patchify 成 token 序列,丢进 Transformer,扩散一样训。Sora / Stable Diffusion 3 / Flux 全部走 DiT 路线。LDM 真正普适的部分是"在 latent 上扩散"这个思想,不是 U-Net 这个具体架构。
六、从图到视频:扩散维度再升一阶
Alex 在 chunk #1468–1469 里说 Luma 训了一个叫 R3 的文生视频模型,"擅长生成运动和真实角色动画"。背后的技术框架就是视频扩散(Video Diffusion)。把图像扩散从 $\mathbb{R}^{H \times W \times C}$ 推广到视频 $\mathbb{R}^{T \times H \times W \times C}$,多了一个时间维度 $T$,听起来"只是多一维",但工程上是质变——一个 5 秒 24fps 视频就是 120 帧,每帧本身已经是个高维张量,整段视频的总维度比单张图像大 100 倍以上。主流的应对策略大致可以分成三种配方,每种都对应一类落地模型,下面逐个拆。
6.1 配方 A:3D U-Net + 时序注意力(Image+Motion)
最直接的扩展:把 2D U-Net 改成 3D U-Net(卷积核加一个时间维度),或者更常见的做法——2D U-Net 串一个时序注意力:
- 空间注意力 / 卷积:每帧内部,和图像扩散一样;
- 时序注意力:跨帧,在 $T$ 维度上做 self-attention,让帧之间"看到对方",保证一致性。
代表作:
- Video Diffusion Models(Ho et al. 2022,首篇)
- Imagen Video(Google 2022,多级超分级联)
- Make-A-Video(Meta 2022)
- AnimateDiff / Stable Video Diffusion(Stability AI 2023):直接拿预训练 SD 的 U-Net,只在新加的时序注意力层上微调。
- Runway Gen-2(商用)
训练数据:(video, caption) 对,loss 还是简单的 ε-prediction MSE,只不过 $\epsilon \in \mathbb{R}^{T \times H \times W \times C}$。
6.2 配方 B:图像扩散 + 动画化(Image-as-Frame)
更轻量的路线:压根不训视频模型。流程:
- 用预训练 SD 生成一张图(首帧);
- 用光流模型预测后续帧的运动场;
- 把首帧按运动场 warp 到后续每一帧。
代表作:Animate Anyone、早期 Deforum SD、各种 ControlNet + AnimateDiff 流水线。优点:训练成本几乎为零(只训 motion module);缺点:长视频会漂、复杂运动会塌(光流估不准)。
6.3 配方 C:4D 时空 latent(Sora / Veo 路线)
最现代、性能最强的路线,也是 Alex 在 Luma 实际在用的路线。它把 LDM 思想再升一阶——既然 LDM 把"图像维度"压下来了,那为什么不连"时间维度"也一起压?
- 训一个 时空 VAE,把 $\mathbb{R}^{T \times H \times W \times C}$ 压成 $\mathbb{R}^{T' \times H' \times W' \times C'}$(时间也压,比如 $T'=T/4$);
- 在这个 4D latent 上跑 DiT(注意:U-Net 在这里通常被抛弃,因为 Transformer 更适合处理长 token 序列);
- 解码:4D latent → 像素视频。
代表作:
- Sora(OpenAI 2024):spacetime patches + DiT,号称能生成 1 分钟 1080p 视频;
- Veo / Veo 2(Google DeepMind 2024–2025);
- Luma R3 / Dream Machine(Alex 在课上展示的就是这条路线的产物);
- Kling、Hailuo、Hunyuan Video(国内开源 / 商用)。
这条路线为什么质量最强?因为时空 VAE 一并把时间冗余也压掉了——相邻几帧之间像素差异往往很小,VAE 可以用一个 latent token 表示几帧的合成信息。这相比"逐帧编码再加时序 attention"省了大量重复计算,也让 DiT 的 token 序列更短、长程依赖更容易学。代价是:时空 VAE 自己就难训练(既要重建空间高频也要重建时间细节),训练这一步现在反而成了视频模型最难复现的工程门槛。
Sora 论文的关键技术报告里讲,它把视频 latent 切成时空 patch(比如 $2 \times 16 \times 16$,时间方向 2 帧、空间 16×16),每个 patch flatten 成一个 token,喂进 DiT。这让 Sora 能统一处理不同长度、分辨率、宽高比的视频(不像传统视频模型必须固定 16 帧 256×256)。这是 LDM "latent + token-based diffusion" 思想在视频上的极致演绎。
七、视频扩散的四个老大难
视频比图像难的不只是"维度高 $T$ 倍",而是引入了四类新挑战:
7.1 时序一致性(Temporal Coherence)
同一个物体在第 1 帧是橘猫、第 5 帧变成黑猫——这是早期视频扩散的"招牌 bug",业内戏称"角色漂移"。出现的根本原因是每一帧的去噪是相对独立的随机过程,如果没有强力的跨帧约束,模型每帧都在自己重新"想象"主角长什么样。修法主要有:
- 时序注意力让帧间互通;
- 训练时数据集要有大量真实视频而不是图像 + 假动画;
- 采样时用固定 noise seed for all frames(同一个 $\epsilon$ 在所有帧间共享一部分),从噪声层就保持一致。
- 提供"角色参考图"作为额外条件——这就是 Alex 提到的 character reference 任务,等价于给模型一张"主角的身份证"。
7.2 运动合理性(Motion Plausibility)
"一只猫从沙发跳到桌子"——猫的肢体协调、重力、惯性都要对。这是世界模型层面的挑战,纯靠扩散模型从数据里学,需要海量真实视频(YouTube 全网级别)。Sora 据传训练数据规模是几亿条视频。可控运动还有个更隐蔽的难题:模型生成的"动"很容易退化成"摄像机平移"或者"整体缩放"——因为这是统计上最简单的"动"。让物体真的产生结构性形变(比如人走路时腿真的在弯)需要数据集本身的运动多样性足够丰富,而不是清一色的延时摄影、航拍片段。
7.3 长视频生成(Long-form)
5 秒视频 ≈ 120 帧。10 分钟视频 ≈ 14400 帧。直接训练时空 DiT 处理一万帧的 attention 矩阵太大。主流解法:
- 滑动窗口生成:每次生成 8 秒,下一段以上一段最后 1 秒为条件;
- 层级 / 关键帧 + 插帧:先生成 10 个关键帧,再插帧;
- autoregressive over chunks:把视频分块,块间 autoregressive、块内扩散。
7.4 可控性(Controllability)
用户想要的不是"随机一段猫的视频",而是"这只特定的猫,做这个特定动作,相机这样运镜"。条件信号要从单一文本扩到:
- 首帧图(image-to-video);
- 运动轨迹(drag-based control,如 DragNUWA);
- 相机轨迹(camera control);
- 角色参考(character reference,Alex 在 chunk #1475 提到过这是 Luma 的实际业务任务之一);
- 深度图 / 姿态序列(ControlNet for video)。
八、推理成本:为什么"步数蒸馏"对视频是刚需
这是 Alex 这堂课的真正主线。在 chunk #1472–1476 他反复强调一个事实:
"diffusion models scale very poorly with inference compute"——步数砍到几步以下,质量直线掉。但 50 步 ODE,对于视频生成意味着 50 × (T 帧 × U-Net cost) 的推理成本。一个 5 秒 24fps 视频在 H100 上要跑几分钟。
Alex 在课上用一张图清楚地画出了这件事:横轴是采样步数,纵轴是模型质量。普通扩散模型这条曲线长得像个"陡坡上山"——步数很少时质量很差,必须跑到几十甚至上百步才能爬到山顶。而他在画的"理想模型"是另一条几乎水平的绿色直线——步数不论多少,质量都接近最优。Alex 给这种性质起了个名字:"efficient inference time scaling"(高效的推理时缩放)。这是少步生成研究的明星指标。
所以下一章 蒸馏与少步采样 不是"锦上添花",而是视频扩散能否商业化的生死线。具体看 Alex 在课上比对的两条路:
- 两阶段路线(pre-train + distill):先训扩散模型,再用 Consistency Distillation / DMD 等方法蒸馏成 1–4 步模型。问题:DMD 要训两个网络、调参敏感;每个新任务(视频编辑、角色参考……)都得重蒸一遍。
- 单阶段路线(直接从头训少步模型):Alex 介绍的 Luma 自研工作—— Inductive Moment Matching 和 Terminal Velocity Matching——目标是用一个训练 pipeline 直接得到一个 1–4 步采样的模型,跳过蒸馏阶段。
九、PyTorch 实现骨架:LDM 训练步
下面是 LDM 一次训练迭代的最小骨架(省略了数据加载、optimizer 等模板代码)。注意 VAE 在 no_grad 里——它是冻结的。
import torch
import torch.nn.functional as F
# 假设这些模块已实例化、加载预训练权重
vae = VAE().eval() # 冻结的 KL-reg VAE(encoder + decoder)
text_encoder = CLIPTextEncoder().eval() # 冻结的 CLIP
unet = UNet2DCondition() # 可训练,cross-attn 接收 text emb
scheduler = DDPMScheduler(T=1000) # β 调度(cosine 或 linear)
for x, caption in dataloader: # x: [B,3,512,512] caption: List[str]
# ----- 1. 编码到 latent(冻结,不计梯度) -----
with torch.no_grad():
z0 = vae.encode(x).sample() # [B,4,64,64],乘以 0.18215 标准化
z0 = z0 * 0.18215
c = text_encoder(caption) # [B,77,768],CLIP token 表示
# ----- 2. 随机时间步 + 加噪 -----
B = z0.size(0)
t = torch.randint(0, scheduler.T, (B,), device=z0.device)
eps = torch.randn_like(z0)
zt = scheduler.add_noise(z0, eps, t) # √ᾱ_t z0 + √(1-ᾱ_t) ε
# ----- 3. Classifier-free guidance 风格的条件 dropout -----
mask = (torch.rand(B, device=z0.device) < 0.1).view(B, 1, 1)
c_in = torch.where(mask, torch.zeros_like(c), c) # 10% 把条件清零
# ----- 4. U-Net 预测 ε,cross-attn 注入 c_in -----
eps_pred = unet(zt, t, encoder_hidden_states=c_in) # [B,4,64,64]
# ----- 5. 简单 MSE loss -----
loss = F.mse_loss(eps_pred, eps)
loss.backward()
optimizer.step()
optimizer.zero_grad()
# ===== 推理(采样)伪代码 =====
@torch.no_grad()
def sample(prompt, w=7.5, num_steps=50):
c = text_encoder([prompt]) # 条件
c_uncond = text_encoder([""]) # 无条件(empty prompt)
zT = torch.randn(1, 4, 64, 64).cuda()
for t in scheduler.timesteps(num_steps):
eps_c = unet(zT, t, encoder_hidden_states=c)
eps_u = unet(zT, t, encoder_hidden_states=c_uncond)
eps_hat = (1 + w) * eps_c - w * eps_u # CFG,见第 17 章
zT = scheduler.step(eps_hat, zT, t) # DDIM / DPM-Solver 单步
z0 = zT / 0.18215
x = vae.decode(z0)
return x # [1,3,512,512]
十、和"流匹配"的关系:同一件事的两种命名
读到这里你可能会困惑:Alex 整堂课嘴里挂着的不是 "diffusion",而是 "diffusion and flow matching"。这两个词到底是什么关系?要不要在 LDM 里换成 flow matching?简短答案:flow matching 是 diffusion 的一个等价重表述,目标分布、神经网络的输入输出都几乎一样,只是把"预测噪声 $\epsilon$"换成"预测速度场 $v$",把概率流 ODE 写成更干净的形式。在 LDM 框架里,你可以把扩散 U-Net 换成 flow matching U-Net 一行代码改完,整体架构(VAE 编码器 + latent ε / v 网络 + 解码器)不变。
Alex 在 chunk #1471 里说:"the job of diffusion models and flow matching is to learn this velocity field with a neural network"——他强调两者是同一类问题的两个名字。Stable Diffusion 3 / Flux 已经全面切到 flow matching;Sora 据透露也是 flow matching。但这不影响本章 LDM 的核心思想:无论是 ε 预测还是 v 预测,都跑在 VAE 提供的 latent space 上。LDM 是"在哪里跑"的问题;diffusion vs flow matching 是"用什么目标跑"的问题。两者正交。
十一、把这一章接到全局:扩散模型的"省钱进化树"
把 18 章及前后的内容串成一棵进化树:
- 2020 · DDPM(第 5 章):像素空间 256×256,几百张 V100 才能跑。
- 2021 · Improved DDPM / ADM:cosine 调度、可学习方差,像素空间继续战斗。
- 2022 · LDM / Stable Diffusion(本章):空间压缩 48×,个人显卡能跑。
- 2022–2023 · DDIM / DPM-Solver(第 16 章):步数从 1000 砍到 20。
- 2023 · Consistency Models / LCM(第 19 章):步数砍到 1–4 步。
- 2023 · ControlNet / IP-Adapter(第 20 章):把条件信号从文本扩到深度图、姿态、参考图。
- 2024 · DiT / Sora / SD3 / Flux:U-Net 让位给 Transformer,扩 latent 思想搬到视频和 4D。
- 2024–2025 · Luma R3 / Veo 2:4D 时空 latent + DiT + 步数蒸馏,端到端推理几秒一段视频。
注意:这棵树上的每一个节点都没有抛弃前一个节点。LDM 是 DDPM 的"省空间"版本,Consistency 是 DDIM 的"省时间"版本,DiT 是 LDM 的"换骨架"版本。所有这些优化在工业模型里是叠加使用的——一个现代视频模型同时享受 latent 压缩 + 步数蒸馏 + Transformer 骨架的好处。
如果你在学 SD 二次开发(LoRA、ControlNet、IP-Adapter 等),所有这些技术都建在 LDM 的 latent space 之上,而不是在像素上工作。这是因为 SD 的 cross-attention 层在 latent 维度,所有插拔式扩展只需要面对 64×64 的张量,不用考虑像素分辨率。LDM 这个"latent 中间层"成了 Stable Diffusion 生态系统的"操作系统"——所有插件都是它的应用层。
本章要记住的
- LDM 核心洞察:"像素扩散在浪费 capacity"——纹理交给 VAE decoder,扩散只管语义。压缩 48×,端到端加速 ~50×。
- 三件套:冻结的 VAE encoder $E$ + 可训练 U-Net $\epsilon_\theta$ + 冻结的 VAE decoder $D$。第一阶段训 VAE(L1+LPIPS+弱 KL+GAN),第二阶段在 latent 上跑标准 DDPM。
- 和第 2 章 VAE 的关系:LDM = "VAE 做压缩 + Diffusion 做生成"。第 2 章的强 KL prior 被换成可学习的扩散 prior,这是 VAE 家族的重大升级。
- Cross-attention 注入条件:Q 来自 latent,K/V 来自 CLIP/T5 文本编码。"空间位置查询文本 token"——这是 SD 实现 prompt 控制的根本机制。
- 视频扩散三配方:A) 3D U-Net + 时序注意力(SVD/Gen-2);B) Image-as-Frame + 光流(AnimateDiff);C) 4D 时空 latent + DiT(Sora/Veo/Luma R3)。Alex 在课上展示的 R3 走的是 C。
- 视频四大难:时序一致性、运动合理性、长视频、可控性。每一个都还在 active research。
- 本章承上启下:LDM 解决"空间维度的浪费",下一章 Consistency / 蒸馏解决"时间维度的浪费"。Alex 这堂课的真正主线是后者—— Inductive Moment Matching、Terminal Velocity Matching 都是为了用一个训练 pipeline 直接拿到 1–4 步采样的模型。