Image Generation
— 从 $p_\text{data}(\text{image})$ 采样的任务;不是一种模型,是一片家族。
很多人接触深度学习是从 ChatGPT 或 Stable Diffusion 入门,于是默认「图像生成 = 扩散模型」。这是用「最近的胜者」覆盖了整个学科。Image generation 是一个任务(task),不是一个方法(method)——它问的是「能不能从图片分布里抽出新样本」,而对这个问题,人类至少给出了 6 大类不同答案。
一个具体的比喻:图像生成像「学画画」。你可以一笔一笔地画完整张(自回归 / PixelRNN——按从左到右、从上到下的顺序画像素),可以脑子里先想个轮廓再细化(VAE / latent diffusion——压一个潜变量再展开),可以照着一团雾慢慢擦出形状(diffusion——从纯噪声逐步去噪),可以让一个画家和一个评论家互怼直到画家骗过评论家(GAN——生成器和判别器对抗),也可以画一遍再反向擦回噪声看看能不能复原(normalising flow——可逆映射)。它们的目标一致——「画出真的」,路径完全不同。同一个任务的多种方法学,才是 image generation 作为研究领域的核心张力,也是过去十年深度学习最热闹的赛道之一。
在机器学习的工作流里,image generation 对应「无监督密度建模 + 采样」这一对孪生任务:训练时让模型理解「什么样的像素组合是合理图片」,推理时让它「按这个理解吐出新组合」。下游应用——文本到图(text-to-image)、超分(super-resolution)、修复(inpainting)、视频生成、3D 生成、蛋白结构生成——全部是它的特化。
读完本词条,你应该能在脑子里画出一张「图像生成方法树」:根节点是 $p_\text{data}(\text{image})$ 这个目标,第一层分叉是 explicit vs. implicit likelihood(显式 vs. 隐式概率),第二层分叉是 one-shot vs. iterative(一步生成 vs. 迭代精修),叶子是 VAE / GAN / Flow / AR / Diffusion / Flow Matching 等具体模型。本页是地图,子家族页才是详细路线。一个好的判断方式:每读一篇新论文,先问「它在这棵树上的哪个位置?解决了哪个分叉处的痛点?」——这比一开始就钻进 loss 公式更能建立学科 sense。
家族谱:6+ 类生成范式
下表按「核心机制」对图像生成方法做分类。每一行的 Why 解释「为什么人们当时会发明这一支」——这是判断后来者优劣的关键参照。
| 家族 | 代表 / 起点 | 核心机制 | 为什么 (Why) |
|---|---|---|---|
| VAE | Kingma & Welling 2014 | encoder $q(z|x)$ + decoder $p(x|z)$,潜空间 Gaussian 先验,优化 ELBO。 | 提供可解释的潜变量和稳定训练;KL 项强制潜空间连续可采样。代价:重建模糊。 |
| GAN | Goodfellow 2014 | 生成器 $G$ vs. 判别器 $D$ 的 minimax 博弈,无显式似然。 | 绕开了显式概率建模,直接用判别器作为隐式似然,所以样本极其锐利逼真。代价:训练不稳定、mode collapse。 |
| Autoregressive | PixelRNN / PixelCNN 2016, Image GPT 2020 | 把图片拆成 pixel 序列,建模 $p(x) = \prod_i p(x_i | x_{<i})$。 | 和 NLP 的 next-token 思路统一——能算精确 likelihood。代价:采样要 $H \cdot W$ 步,1024×1024 图 = 一百万步,慢到不可用。 |
| Normalising Flow | RealNVP 2016, Glow 2018 | 用一串可逆变换 $f$ 把简单分布映到数据分布;$\log p(x) = \log p(z) + \log|\det J_f|$。 | 同时拥有精确 likelihood + 一步采样——VAE 和 GAN 各占一头,flow 想都要。代价:可逆约束限制网络表达力。 |
| Diffusion | DDPM (Ho 2020), Score SDE (Song 2021) | 前向加噪 $T$ 步把数据→噪声,训一个网络预测噪声 / score,反向迭代去噪。 | 把「一步生成一张图」拆成「$T$ 步小修小补」,每一步都是简单的去噪——loss 形式极其稳定,质量碾压 GAN。代价:采样要 $T$ 次前向。 |
| Latent Diffusion | Rombach 2022 (Stable Diffusion) | 先用 VAE 把 512×512 图压到 64×64 latent,在 latent 上做 diffusion。 | 在像素上做 diffusion 一张 1024 图 GPU 要算几分钟;压到 latent 后计算量降低 ~64×,让消费级 GPU 也能跑。这是 SD 能开源出圈的根本原因。 |
| Consistency / Flow Matching / Rectified Flow | Song 2023, Lipman 2023, Liu 2023 | 把 diffusion 的 $T$ 步学成 1~4 步直射,或绕开 SDE 直接学速度场 $v_\theta(x, t)$。 | Diffusion 慢是因为 NFE (number of function evaluations) 大;这一系列工作的目标就是把 NFE 砍到个位数而不丢质量。LCM、SD-Turbo、FLUX.1-schnell 都是这一脉。 |
| Image–Video unified | Sora 2024, Veo 2024, Movie Gen 2024 | 把图片当作单帧视频,在时空 latent 上做 diffusion / flow matching。 | 视频 = 图片 + 时间一致性。统一架构让一套权重同时做 T2I / T2V / I2V,规模效应大于专用模型。 |
两条根本分叉:显式 vs. 隐式、一步 vs. 迭代
上表 8 行看起来繁多,但其实只有两个根本设计选择:
① 显式概率 vs. 隐式概率。显式(VAE、Flow、AR、Diffusion 都能写出 $\log p_\theta(x)$ 或其下界)让你能算 likelihood、做模型选择、跨任务比较;隐式(GAN)只能采样,不能算概率,但训练目标更直接、样本质量历史上更高。Diffusion 之所以「打败」GAN,部分原因是它属于显式那一类,却拿到了 GAN 级别的样本质量——两全。
② 一步生成 vs. 迭代生成。VAE / GAN / Flow 都是「encoder → 一次前向 → 出图」,推理快;Diffusion 是「$T$ 步去噪 → 出图」,推理慢。2023 年起 consistency model / rectified flow 的目标就是把 diffusion 的好处(高质量、稳定训练、可控)保留下来,但把推理压回到 1–4 步——这就是为什么 FLUX.1-schnell、SD-Turbo、LCM 是当前最热门的方向。
把这两条轴交叉起来,能把 8 个家族放进 4 个象限:GAN(隐式 × 一步)、VAE/Flow/AR(显式 × 一步 / 接近一步)、Diffusion(显式 × 迭代)、Consistency / Flow Matching(显式 × 迭代但学成准一步)。后续每读到一个新方法,都问「它落在哪个象限、解决了上一代什么痛点」,几乎都能定位。
每个家族学的「数学对象」是什么?
另一个理解差异的角度:每一类生成模型本质上是在用神经网络拟合一个不同的数学对象。把这一列单独拎出来,许多公式上的混乱会瞬间清晰:
- VAE 学的是 posterior $q(z|x)$ 和 likelihood $p(x|z)$,loss = 重建 + KL;推理时从先验 $p(z) = \mathcal{N}(0,I)$ 采 $z$ 再解码。
- GAN 学的是 从噪声 $z \sim \mathcal{N}(0,I)$ 到数据的映射 $G(z)$,loss 由判别器 $D$ 给出,本身不显式写概率。
- 自回归 学的是 条件概率链 $p(x_i | x_{<i})$,loss = next-token cross-entropy,和 GPT 完全同构。
- Normalising Flow 学的是 可逆映射 $f$ 及其 Jacobian 行列式,loss = $-\log p(x)$ 直接由 change-of-variable 公式给出。
- Diffusion 学的是 噪声预测 $\epsilon_\theta(x_t, t)$ 或等价的 score $\nabla_x \log p_t(x)$,loss = 简单的 MSE。这就是为什么 Ho 2020 反复强调 "simple loss" —— diffusion 把所有复杂性藏进了「迭代采样过程」而不是「训练目标」。
- Flow Matching / Rectified Flow 学的是 速度场 $v_\theta(x, t)$,loss = MSE 拟合一条从噪声到数据的「直线」轨迹;推理时解 ODE。
「学不同的对象」决定了「采样过程长什么样」:学 likelihood → 直接采样;学 score → SDE / ODE 迭代;学 velocity → ODE 一两步。这就是从训练目标推出推理算法的「家族签名」。
为什么 diffusion 后来居上?
2020 年之前,图像生成的「王者」是 GAN(StyleGAN 系列在 FFHQ 人脸上几乎以假乱真),其次是 VAE 的各种增强(VQ-VAE-2 在 ImageNet 上能出像样的图)。但 GAN 有三个长期顽疾:训练不稳定(loss 来回震荡,需要无数 trick)、mode collapse(采样多样性差)、可控性弱(条件 GAN 远不如 cVAE 灵活)。DDPM 一篇论文同时缓解了这三件事:
- 稳定:训练目标就是 $\|\epsilon - \epsilon_\theta\|^2$,没有对抗博弈,几乎不可能训崩。
- 多样性:每一步从高斯分布采样一次,天然探索全分布,不会 collapse。
- 可控性:score 的线性结构让 classifier guidance / CFG / ControlNet 都能直接以「梯度加和」的形式注入条件。
代价是采样慢——但 2023 年起 consistency model / rectified flow / 蒸馏方法把它砍到个位数 NFE,这块短板也被补齐。所以 2024 年看,diffusion 家族(含 flow matching 这条「数学等价但更优的形式」)在四个评价轴上同时不弱,这就是它统治 T2I 的原因。
除了图像生成,本家族还做什么?
Vizuara 课程里 Dr. Raj 特别强调一句:「diffusion 不仅是 T2I——蛋白、视频、音频都在用。」这是这一类方法学的可贵之处。具体已被验证的应用:视频生成(Sora、Veo、Movie Gen),3D 生成(DreamFusion 用 SDS 把 2D 扩散蒸到 NeRF),蛋白结构(RFdiffusion、Chroma),分子生成(EDM、DiffDock),音频/音乐(AudioLDM、MusicLDM),机器人动作(Diffusion Policy)。把图像生成学好,就拿到了一把多模态生成的万能钥匙——这也是为什么本词条值得做成「入口页」而不是「细节页」。
怎么读这页:路径建议
读到这里你应该已经对「图像生成是一片家族」建立了直觉。下一步推荐的学习路径有两条:历史路径——按时间顺序读 VAE → GAN → PixelCNN → Glow → DDPM → SD → Flow Matching,理解每一支的「上一代痛点 → 本代解法」;原理路径——先彻底吃透一支(推荐 DDPM,因为它的 loss 最简单、数学最干净),再把其它家族当作「不同的训练对象 + 采样过程」横向理解。两条路径殊途同归,区别只在于你更习惯按时间还是按抽象层级组织知识。本课程笔记的主线走的是「原理路径」,所以接下来的概念页会主要展开 DDPM、score matching、CFG、latent diffusion、flow matching 这条链;遇到需要横向对比时,再回到本页查家族表。
四条评价轴
比较两种生成方法时,看这 4 个指标,几乎可以一句话定胜负:
除了这 4 条主轴,还有几条「次要但工程上要命」的轴:训练稳定性(GAN 训崩很常见,diffusion 几乎不崩)、likelihood 是否可算(科研论文常要这个)、条件解耦(latent 空间是否能做属性插值),以及下游可微调性(LoRA / DreamBooth / Textual Inversion 都是给 diffusion 的,不是给 GAN 的)。一个真实工程决策的例子:如果做 24fps 实时风格滤镜,必选 GAN 或一步 distilled diffusion;如果做高质量海报生成且不在意延迟,选 FLUX.1 或 SD3;如果做生物医学图像(要 likelihood 评估稀有事件),考虑 normalising flow;如果做 1024×1024 以上的超高分辨率,考虑 cascaded diffusion 或 latent + super-resolution 的组合。家族选择是任务驱动的,不存在「最佳」模型,只存在「最适合当前 quality × speed × budget × controllability 约束」的模型。
点击下方时间轴上的圆点(或按钮),看 2014–2024 这十年图像生成的关键里程碑。不变量:横轴是时间,每一年的「胜者」都在解决前一支留下的痛点(VAE 模糊 → GAN 锐利 → 多样性差 → diffusion → 太慢 → consistency / flow matching)。
一个用户面里程碑:从 prompt 到图
2022 年起,普通用户接触的 T2I 产品基本都是 diffusion 家族:DALL·E 2/3(OpenAI,先 unCLIP 后 latent diffusion)、Midjourney v5/v6(私有 diffusion,美学微调极强)、Stable Diffusion 1.5/SDXL/SD3(开源 latent diffusion,社区生态最大)、Imagen 3(Google)、FLUX.1(rectified flow,2024 开源 SOTA)。当你输入 "a corgi in space",模型内部经历的是:CLIP / T5 编码 prompt → 采 64×64×4 latent 噪声 → U-Net / DiT 跑 50 步迭代去噪(或 schnell 模型只跑 4 步)→ classifier-free guidance 在每步把条件方向放大 → VAE decoder 把 latent 解到 1024×1024 像素。整条流水线就是本词条所有家族的合奏:VAE 负责压缩潜空间,diffusion 负责采样,CFG 负责条件控制,flow matching / consistency 负责加速。
另一个值得算的小数字:SD 1.5 在 512×512 上做 50 步 DDIM 采样,单图 RTX 3090 约 2 秒;同样硬件上 FLUX.1-schnell 4 步约 0.3 秒;StyleGAN-XL 单步约 0.01 秒。质量上 FLUX.1 ≥ SD ≥ StyleGAN-XL(在通用 T2I 任务上)。这正是「质量 × 速度」trade-off 的真实成本——而每一代新方法的目标,几乎都是「把这条 trade-off 曲线整体往外推」。Consistency model 把 diffusion 的 50 步压到 4 步而几乎不丢质量,就是这种推动;FLUX.1 把 rectified flow 推上 12B 参数,就是这种推动;Sora 把图像家族泛化到视频,也是这种推动。理解了「家族 + trade-off + 痛点驱动迭代」这三件事,你看图像生成领域就不会再被新名词晃眼。
三个常见误区
- 「图像生成 ≈ Stable Diffusion」。反例:2024 年开源 SOTA 是 FLUX.1(rectified flow 而非 DDPM 范式);GAN 在「单步、低延迟」场景仍是首选(StyleGAN-T 一步出图 < 10ms,diffusion 做不到);自回归思路在 Parti、VAR 上又被重新激活。SD 是「2022 年的当红炸子鸡」,不是终点。
- 「FID 越低模型越好」。反例:FID 在 ImageNet 上对小扰动敏感——同一个模型把分辨率从 256 升到 512,FID 数值会跳;CFG scale 也会让 FID 变好但 diversity 变差(采样集中到「最常见的样子」)。Karras 2022 的实验显示,把 CFG 从 1 调到 7.5,FID 可以从 2.3 → 1.8,但 recall 从 0.7 跌到 0.4。看一个数字定胜负,会错过 mode collapse 和 over-saturation。
- 「Latent diffusion 是 diffusion 的小改进」。反例:从像素扩散到 latent 扩散的计算量差约 64×(512×512 → 64×64 的 spatial 缩减,再乘以 latent 通道数 4 vs. RGB 3,再乘以每步 U-Net 在更小空间上的省算)。SD 能在消费级 GPU 跑、Midjourney 能商业化、ControlNet 能流行,全部建立在「先 VAE 压缩」这个工程决定上。它不是细节优化,是范式跃迁——没有 latent,就没有今天的 T2I 民主化,也就没有 LoRA / 社区 fine-tune 生态。
相关概念
- DDPM — 现代 diffusion 的起点
- Latent Diffusion — Stable Diffusion 的底层范式
- Classifier-Free Guidance — T2I 质量飞跃的关键技巧
- Video Diffusion — 图像生成的时空推广
来源
- diffusion-principles-vizuara · L11 · 课程开场:「diffusion 革新 T2I—DALL·E 3、SD、Midjourney」· (04:36)
- cmu-10799-diffusion-flow · L7 · Guidance & Controllable Generation:T2I 与一步采样预告 · (1:07:39)
- cmu-10799-diffusion-flow · L11 · Guest Lecture (Linqi Zhou, Luma AI):从 ImageNet 一步 → 10B 参数 T2I 的 scaling · (58:34)
⚠️ 本词条仅有 3 条源 occurrence 且均为顺带提及;正文以「学科地图 / 全景导航」为主,深入内容请跳转 see-also 中的子家族页。