第 13 章 · Module 4: Flow Matching

Flow Matching:直接回归速度场

不再算 score,改学一个时变向量场。


13. Flow Matching:直接回归速度场

主源:CMU 10799 Lecture 5(Flow Matching 开场)+ Lecture 13(Discrete Flow Matching,讲师把"probability path / conservation of mass / continuity equation / velocity / ODE / reparameterization"这一整套语言一行一行讲了出来,连续 FM 与离散 FM 共享同一套骨架);副源:Vizuara《Principles of Diffusion Models》Lecture 9–10(flow 与 trajectory 的物理直觉,"小盒子里粒子轨迹"那张图)。

📌 TL;DR

Flow Matching = 不学 score,直接学一个时变向量场 $v_\theta(x, t)$。给定一条把先验 $p_0 = \mathcal{N}(0, I)$ 接到数据 $p_1 = p_\text{data}$ 的概率路径 $p_t(x)$,存在一个速度场 $u_t(x)$ 推着粒子沿着这条路径流动(ODE:$\dot x = u_t(x)$)。训练目标极朴素——MSE 回归:

$$\mathcal{L}_\text{FM}(\theta) = \mathbb{E}_{t, x \sim p_t}\big\|v_\theta(x, t) - u_t(x)\big\|^2$$

问题是边际速度场 $u_t(x)$ 没有闭式。Lipman et al. 2023 的关键贡献:换成条件 Flow Matching (CFM)——为每个数据点 $x_1$ 设计一条条件路径 $p_t(x|x_1)$(通常是 Gaussian),它的条件速度场 $u_t(x | x_1)$ 有闭式。然后训这个:

$$\mathcal{L}_\text{CFM}(\theta) = \mathbb{E}_{t,\,x_1 \sim p_\text{data},\,x \sim p_t(\cdot|x_1)}\big\|v_\theta(x, t) - u_t(x | x_1)\big\|^2$$

定理:$\nabla_\theta \mathcal{L}_\text{FM} = \nabla_\theta \mathcal{L}_\text{CFM}$(两个目标对参数的梯度相等,差一个常数)。所以训简单的 CFM,得到的 $v_\theta$ 就是边际速度场。

采样:$x_0 \sim \mathcal{N}(0,I)$,跑 Euler $x_{k+1} = x_k + \Delta t \cdot v_\theta(x_k, t_k)$,5–10 步通常够。这就是 SD3、Flux、SORA 背后的训练范式。

承前启后:第 12 章 CNF 给出"用 ODE 把噪声推到数据"的架构,但 MLE 训练贵到难用;本章给出怎么训——score matching 让我们能训 SDE,flow matching 让我们能训 ODE,两件事在同一棵树上。

一、为什么要"再造一个" Flow Matching?

到第 13 章你已经手里有三把锤子:DDPM(第 7 章)、Score Matching / SDE(第 10 章)、CNF(第 12 章)。每一把都能"把噪声变成数据",那为什么 Lipman、Albergo、Liu 三组人在 2022 年下半年几乎同时提出 flow matching?

CMU L5 开场一句话回答了这个问题(chunk #2,讲师 Yiming Yang 实验室的助教):

「Last time we learned about how diffusion turns noise into data by gradually adding noise and gradually denoising. ... it turns out [diffusion and score-based models] are pretty much the same, especially if you scale the number of time steps to infinite—then they both become this thing called a continuous-time stochastic process, formulated into stochastic differential equations.」

讲师接下来反问:"SDE 多绕——前向加噪、写下逆向 SDE、再去学 score,全程跟随机性搏斗。如果我只想要个 ODE,把噪声 push 到数据,为什么不直接 linear interpolation 这两端?"——这一句几乎概括了整个 flow matching 的设计哲学(CMU L5 chunk #5,被 第 12 章引用过)。

三把锤子的痛点排成一行:

  • DDPM / Score:score $\nabla_x \log p_t(x)$ 是个间接量——你想要的是"粒子怎么走",得到的却是"密度往哪一边凸",中间隔了一步翻译。而且每一步去噪都要做随机性管理(重参数化 + 反向 SDE)。
  • CNF(第 12 章):架构没问题(ODE + MLP),但训练贵——MLE 要积分 ODE、沿途估 trace、反传整段轨迹。CMU 讲师原话:"CNF was kind of put on the shelf for a few years until flow matching saved it."(同章引述)
  • 都没有 GAN 的"直接回归"那么简单:GAN 训判别器,再训生成器;DDPM 训"预测噪声";都是中间目标。能不能更直接——把目标函数变成对一个简单向量场的 MSE 回归?

Flow matching 的回答:能。代价是放弃 likelihood 计算(不再像 CNF 那样能算 $\log p(x)$),换来一个干净的 MSE 损失和 5–10 步的快速采样。

把这件事放到时间线上看更清楚:2020 年 DDPM 出来后,社区花了两年才意识到"我们其实想要的是 ODE 不是 SDE"——score-based SDE(Song et al. 2021)虽然已经隐含了一个"probability flow ODE",但训练目标仍然是 score matching,思维还在 SDE 的世界里。2022 年下半年 Lipman、Albergo & Vanden-Eijnden、Liu 三组人几乎同时想到:"既然我们最后是用 ODE 采样,为什么不直接把训练目标也建在 ODE 上?"——flow matching 就是把这个想法做到底,让训练目标和采样器在同一种数学语言(ODE / velocity field)里说话,不再翻译来翻译去。

⚠️ 容易踩的第一个坑:很多人第一次读 flow matching 会以为"它和 diffusion 是两种截然不同的范式"。这是错的。

后面会看到——当你把 flow matching 的条件路径选成"diffusion 那种 $\mathcal{N}(\sqrt{\bar\alpha_t} x_1, (1-\bar\alpha_t) I)$",它的速度场和 DDPM 的 score 一一对应,差一个 $-\sigma_t$ 因子。Flow matching ⊃ score matching 在条件层面是等价的。换句话说,flow matching 是一个更大的脚手架,score matching 是它的一个特例。

二、先把「flow」当成一盒粒子在跑

Vizuara L9 开篇用了一个非常物理的例子,这一段是你建立"flow"直觉的关键,请认真读(chunk #279):

「Imagine a box that includes a lot of tiny particles. This is particle P1. Now imagine that for some reason these particles are moving inside the box. So the particles are following specific trajectories. For example, this is the trajectory which is followed by P1. Then we take another point P2 and we find that this is the trajectory which is followed by the point P2. Similarly, every single point in the box ...」

把这段话翻译成数学:

  • 盒子 = $\mathbb{R}^d$(数据空间);
  • 粒子 = 样本 $x$;
  • 粒子在 $t$ 时刻的位置 = $x(t) \in \mathbb{R}^d$;
  • 每个粒子有自己的轨迹 $x: [0,1] \to \mathbb{R}^d$,所有粒子的轨迹合起来叫做一个 flow。

flow 不仅是单个粒子的轨迹——它是一整个家族的轨迹,每个初始位置 $x_0$ 配一条。形式化:

$$\psi_t : \mathbb{R}^d \to \mathbb{R}^d,\qquad x(t) = \psi_t(x_0)$$

$\psi_t$ 在 $t=0$ 时是恒等映射 $\psi_0(x_0) = x_0$,在 $t=1$ 时把整盒子粒子推到了它们的"终点位置" $\psi_1(x_0)$。

每个粒子的瞬时速度定义这个 flow:

$$\frac{d}{dt}\psi_t(x_0) = u_t\!\big(\psi_t(x_0)\big)$$

这就是一个 ODE。给定速度场 $u_t(\cdot)$,flow 是 ODE 的解。Flow matching 要学的就是这个 $u_t$。

「一盒粒子」的 flow:每个粒子一条轨迹,速度场 $u_t$ 统一编排 $t=0$(噪声 $p_0$) $t=1$(数据 $p_1$) 每个箭头 = $u_t(x)$,告诉粒子下一刻往哪走
💡 名字来源:"Flow" 来自流体力学——把 $p_t(x)$ 想象成"密度",$u_t(x)$ 想象成"流速场",整个画面就是一团流体从 $p_0$ 形状慢慢变形成 $p_1$ 形状。Flow matching 学的就是流速场。

有了这层物理直觉,再把 flow matching 的目标用大白话讲一遍:训练时,你看到一堆粒子(数据样本),看到它们大致从哪儿(噪声)流到哪儿(数据);你的任务是学出"在任意位置、任意时刻,粒子应该往哪走"——也就是把整个时空 $(x, t) \in \mathbb{R}^d \times [0,1]$ 的速度场学出来。采样时就把一颗噪声粒子放到 $t=0$,按速度场跑到 $t=1$,看它落在哪。整个过程没有随机采样、没有反向 SDE、没有 score——只有一个 MLP/U-Net 在做"向量场拟合"。

三、概率路径 $p_t(x)$:把两端接起来

CMU L13 chunk #1625–1626 里讲师有一段对话——"velocity 的离散类比是什么?"学生答"probability path"。讲师把"probability path"叫做整个 flow matching 的骨架:

「You will try, you want to somehow form a probability path, right? To go from like some noise or like some full mass to clean data.」

概率路径:一族随 $t \in [0,1]$ 平滑变化的概率密度 $\{p_t(x)\}_{t\in[0,1]}$,端点固定:

  • $p_0(x) = \mathcal{N}(x; 0, I)$(先验,从这里开始采样);
  • $p_1(x) = p_\text{data}(x)$(数据分布,我们想到达的地方)。

路径有无穷多种选法——这是 flow matching 给你的设计自由。三种最常用的:

  1. Diffusion 路径(Variance Preserving,和 DDPM 等价): $$p_t(x|x_1) = \mathcal{N}\!\big(x; \alpha_t x_1, \sigma_t^2 I\big),\quad \alpha_0 = 0, \alpha_1 = 1, \sigma_0 = 1, \sigma_1 \to 0$$
  2. Optimal Transport 路径(线性插值,Lipman 推荐): $$x_t = (1 - t) x_0 + t x_1,\qquad x_0 \sim \mathcal{N}(0, I),\, x_1 \sim p_\text{data}$$ 这条路径在 Liu et al. 的 "Rectified Flow" 里也叫 "straightening flow"——SD3、Flux 用的就是这个。
  3. Variance Exploding 路径(NCSN 风格):方差随 $t$ 爆炸增长。
ℹ️ "路径选择 = 模型先验"。不同的 $p_t$ 在物理上对应不同的"扩散方式"。OT 路径(线性插值)走的是直线——所以采样步数极少(rectified flow 一步采样的根源);diffusion 路径走的是 Brownian-like 曲线——步数多但每步学起来稳定。SD3 选 OT 不是偶然。

三条路径长什么样,可以心里画一张图:

  • OT 路径:从噪声点 $x_0$ 到数据点 $x_1$ 走一条直线。粒子的整条轨迹是 $x_t = (1-t) x_0 + t x_1$,速度始终是常向量 $x_1 - x_0$。这是"最短路"。
  • Diffusion 路径:粒子从 $x_0$ 出发,先漂泊一段(早期方差大、信号弱),再慢慢被拉向 $x_1$。轨迹是一条弯曲的钩状曲线。这也解释了为什么 DDPM 要 1000 步——你走的不是直线。
  • VE 路径:粒子在原地越抖越凶,方差爆炸式增长后,再被吸回 $x_1$。NCSN 的"多尺度"思想。

选路径的核心问题是采样步数 vs. 学习稳定性的权衡:路径越直,每步可以走得越远(步数少),但路径在端点附近变化剧烈,学起来局部"陡";路径越弯,每步走小段稳定,但需要更多步。SD3 实测下来 OT + 5–10 步 Euler 已经把这个权衡推到了甜蜜点。

3.1 一个让你"看见"概率路径的小例子

把整个数据分布想象成二维平面上的两个小簇(比如 mixture of Gaussians,一簇在 $(2, 2)$,一簇在 $(-2, -2)$)。$p_0 = \mathcal{N}(0, I)$ 是原点周围的圆。$p_1$ 是两个小斑点。

  • $t = 0.0$:一团圆圆的云,集中在原点;
  • $t = 0.3$:云开始分裂,往两个数据簇方向拉伸;
  • $t = 0.7$:已经能看出两个独立的"小水滴",但它们还有点模糊、彼此相连;
  • $t = 1.0$:两个小水滴坍缩成两个小斑点,就是 $p_1$。

在每一帧上画箭头表示当前的速度场 $u_t(x)$:早期箭头从原点指向两个数据簇,中期箭头随位置而变(在簇之间分叉),后期箭头几乎消失(粒子已经到位)。这就是 flow matching 真正在学的东西——一个时空 4 维的"风场"。

四、Conservation of Mass 与 Continuity Equation

CMU L13 chunk #1626–1633 用了非常多的时间讲两个"物理守恒律"——这一段在连续 FM 里也是核心,所以请耐心读完(讲师讲完后说:"这是 information theory 那帮人喜欢的名字")。

4.1 ① 守恒律一:probability 必须始终加和到 1(Conservation of Mass)

在任意 $t$,$p_t$ 都是个合法概率分布:

$$\int p_t(x) \, dx = 1 \quad\forall t \in [0,1]$$

讲师把这件事翻译成 flow 的语言(chunk #1633):

「The amount of flow that flows out of a certain state should equal all the amount of flow that flows in. ... All the flows will just add up to zero. They'll all cancel out essentially.」

翻译:进任意小盒子的概率流 = 出这个小盒子的概率流。没有粒子凭空蒸发或诞生。

4.2 ② 守恒律二:概率只能连续变化(Continuity Equation)

这是 flow matching 的命门方程。讲师 chunk #1632 一字一句念出来:

「The infinitesimal change in probability is equal to literally the amount of probability that comes into this particular state, minus the probability that goes out of this state. That's it. ... Super intuitive, I hope.」

形式化(连续情形):

$$\boxed{\;\frac{\partial p_t(x)}{\partial t} + \nabla_x \cdot \big(p_t(x) \, u_t(x)\big) = 0\;}$$

左边第一项 = "密度在 $x$ 处随时间的变化率";第二项 = "概率流的散度"(流出 − 流入)。两项相加为 0,就是 Conservation of Mass 的微分形式。

这条方程的意义:给定概率路径 $p_t$,能反推出推动它的速度场 $u_t$;反过来,给定 $u_t$,能预测路径如何演化。Flow 和 path 通过这条方程一一对应。

讲师 chunk #1634 总结:"This is a OD[E] again, right? Amazing. Just like flow matching, we get a simple OD[E] again. So all we need to do now is to simulate this ODE in order to build a trajectory on this probability path."

这条方程其实就是物理里的质量守恒定律(fluid dynamics 里同名同款),唯一的差别是"质量"换成了"概率"。如果你修过流体力学,看到它会有一种熟悉感——所有 flow matching 论文最后都建立在这一条偏微分方程之上,但因为闭式条件路径让我们绕开了直接解 PDE 的需要,所以工程实现里你从来不会真的显式去算 $\partial_t p_t + \nabla \cdot (p_t u_t)$。它只在证明 CFM 定理的时候出场(§七)。

五、Marginal vector field 为什么不能直接学

到这里你可能想:"那就直接做 MSE 回归 $\|v_\theta(x, t) - u_t(x)\|^2$ 啊!"——卡住的地方是:

$u_t(x)$ 没有闭式——它是边际速度场,需要把所有可能的数据点 $x_1$ 对应的轨迹"积起来"才能得到。具体说:
$$u_t(x) = \int u_t(x | x_1) \, \frac{p_t(x | x_1) \, p_\text{data}(x_1)}{p_t(x)} \, dx_1$$

这个积分在高维不可解(和 ELBO 章的 $\log p(x)$ 一样的难度),所以直接训 $\mathcal{L}_\text{FM}$ 不现实。Lipman et al. 2023 的天才一招:训"条件版"。

六、Conditional Flow Matching:把不可算变成可算

6.1 条件路径 $p_t(x|x_1)$

对每个数据点 $x_1 \sim p_\text{data}$,单独设计一条从噪声接到 $x_1$ 的路径。最常用的是 Gaussian 形式:

$$p_t(x | x_1) = \mathcal{N}\!\big(x; \mu_t(x_1), \sigma_t(x_1)^2 I\big)$$

端点要求:

  • $t=0$:$\mu_0(x_1) = 0,\; \sigma_0(x_1) = 1$(先验高斯,和 $x_1$ 无关);
  • $t=1$:$\mu_1(x_1) = x_1,\; \sigma_1(x_1) = \sigma_\text{min} \to 0$(坍缩到 $x_1$ 这一点)。

边际路径就是把这些条件路径用数据分布加权积分:

$$p_t(x) = \int p_t(x|x_1) \, p_\text{data}(x_1) \, dx_1$$

6.2 条件速度场 $u_t(x|x_1)$ 是闭式的

这是 CFM 的核心红利。对 Gaussian 条件路径,可以解出:

$$u_t(x | x_1) = \frac{\sigma_t'(x_1)}{\sigma_t(x_1)}\big(x - \mu_t(x_1)\big) + \mu_t'(x_1)$$

其中 ' 是对 $t$ 求导。没有积分,没有神经网络估计——就是初等代数。对最常用的 OT 路径 $x_t = (1-t) x_0 + t x_1$:

$$u_t(x_t | x_1) = x_1 - x_0$$

这条常向量就是从噪声 $x_0$ 直接指向数据 $x_1$ 的方向。能比这更简单吗?

💡 记住这个公式:OT 路径下条件速度 = "数据 − 噪声",是一个不随 $t$ 变的常向量。后面写代码你会感觉这件事非常滑稽——目标函数原来就这么干净。

6.3 推一遍 OT 路径的速度场(让你彻底踏实)

OT 路径太干净了,干净到第一次看会觉得"是不是哪里漏算了"。所以我们手推一遍,把 §6.2 的一般公式套进 OT 路径,看看 $x_1 - x_0$ 是怎么蹦出来的。

Step 1: 写出条件路径 $$p_t(x | x_1, x_0) = \delta\!\big(x - ((1-t) x_0 + t x_1)\big)$$ Why:给定 $(x_0, x_1)$ 两端,整条直线被锁死,所以是 delta 分布("零方差"的 Gaussian 极限)。
Step 2: 把 $x_0$ 边际掉,看 $p_t(x | x_1)$ $$x = (1-t) x_0 + t x_1,\ x_0 \sim \mathcal{N}(0, I)\ \Longrightarrow\ x|x_1 \sim \mathcal{N}(t x_1,\, (1-t)^2 I)$$ Why:高斯的线性变换还是高斯,均值 $\mu_t = t x_1$,方差 $\sigma_t^2 = (1-t)^2$。
Step 3: 套 §6.2 的速度公式 $$u_t(x | x_1) = \frac{\sigma_t'}{\sigma_t}(x - \mu_t) + \mu_t'$$ Why:$\mu_t' = x_1$;$\sigma_t = 1-t$ 所以 $\sigma_t' = -1$,$\sigma_t'/\sigma_t = -1/(1-t)$。代入并把 $x = (1-t)x_0 + t x_1$ 代回去: $$u_t = -\frac{1}{1-t}\big((1-t) x_0 + t x_1 - t x_1\big) + x_1 = -x_0 + x_1 = x_1 - x_0$$ 干净到没有任何 $t$ 依赖。这就是 OT 路径的魔法。

6.4 CFM 训练目标

把"边际版"换成"条件版":

$$\boxed{\;\mathcal{L}_\text{CFM}(\theta) = \mathbb{E}_{t \sim \mathcal{U}(0,1),\; x_1 \sim p_\text{data},\; x \sim p_t(\cdot|x_1)} \big\|v_\theta(x, t) - u_t(x|x_1)\big\|^2\;}$$

采样过程极朴素:

  1. 抽 $t \in [0, 1]$ 均匀;
  2. 抽 $x_1$ 从训练集;
  3. 抽 $x \sim p_t(\cdot | x_1)$——对 Gaussian 就是 $x = \mu_t(x_1) + \sigma_t(x_1) \cdot \epsilon, \epsilon \sim \mathcal{N}(0, I)$;
  4. 算闭式 $u_t(x | x_1)$;
  5. $\|v_\theta(x, t) - u_t(x|x_1)\|^2$ 做反传。

七、关键定理:训 CFM 等价于训 FM

到这里逻辑跳了一步——我们想要的是边际速度场 $u_t$,凭什么训条件目标 $\mathcal{L}_\text{CFM}$ 学到的 $v_\theta$ 就是 $u_t$?Lipman et al. 2023 的定理回答:"因为两个 loss 的梯度对参数完全相等。"

定理(Lipman et al. 2023, Theorem 2):在温和条件下, $$\nabla_\theta \mathcal{L}_\text{FM}(\theta) = \nabla_\theta \mathcal{L}_\text{CFM}(\theta)$$ 等价地,$\mathcal{L}_\text{FM}(\theta) = \mathcal{L}_\text{CFM}(\theta) + C$,$C$ 是不依赖 $\theta$ 的常数。
证明骨架:把 $\mathcal{L}_\text{FM}$ 展开 $\|v_\theta - u_t\|^2 = \|v_\theta\|^2 - 2\langle v_\theta, u_t\rangle + \|u_t\|^2$。
Why(第 1 项):$\|v_\theta\|^2$ 在两个 loss 里都一样(因为 $\int p_t(x) f(x) dx = \int\int p_t(x|x_1) p_\text{data}(x_1) f(x) dx \, dx_1$,f 不变)。
Why(第 3 项):$\|u_t\|^2$ 不含 $\theta$,作为常数舍去。
Why(第 2 项,关键):交叉项的边际版 $$\mathbb{E}_{x \sim p_t}[\langle v_\theta, u_t \rangle] = \int v_\theta(x,t) \cdot u_t(x) \, p_t(x) \, dx$$ 代入 $u_t$ 的边际表达式(§五的公式),积分顺序一交换,发现它恰好等于条件版的 $$\mathbb{E}_{x_1, x \sim p_t(\cdot|x_1)}[\langle v_\theta, u_t(x|x_1)\rangle]$$ 两个交叉项相等,所以两个 loss 只差常数。
讲师在 L13 chunk #1635 的一句话其实暗藏了这套等价性:"This is the only thing that we need to learn ... this is the quote-unquote velocity that we should be learning."——重点是 "the only thing"。CFM 的存在让我们只需要回归一个闭式向量,剩下的等价性由数学保证。

7.1 直觉解释:为什么这一招行得通?

把上面证明的味道用大白话讲一遍:你的网络 $v_\theta(x, t)$ 不知道哪个 $x_1$ 产生了当前看到的 $x$——它只能看到 $(x, t)$。所以当训练时一个特定的 $(x, t)$ 出现,背后可能对应很多个潜在的 $x_1$,每个 $x_1$ 给出不同的"目标速度"。MSE 的几何性质告诉我们:对一个固定输入做 MSE 回归到多个目标的最优解,就是这些目标的(加权)均值。

把这一点形式化:对固定的 $(x, t)$,条件 loss 取最小值时, $$v_\theta^*(x, t) = \mathbb{E}_{x_1 \sim p(x_1 | x, t)}\big[u_t(x|x_1)\big]$$ 而右边这个期望(按贝叶斯展开)恰好等于边际速度场 $u_t(x)$。所以网络就算只见过条件目标,它学到的最优解自动是边际目标——这正是 CFM 定理的几何根因。

💡 类比锚点:这件事和 score matching 的"denoising score matching 等价于 marginal score matching"是同一个数学事实的两种装扮——都是"MSE 对条件目标 ≡ MSE 对边际目标 + 常数"。如果你之前学过 DSM 的证明(第 10 章),这里几乎就是把"score"换成"velocity"重写一遍。

八、和 score matching 在条件层面等价

很多教材会单独证 flow matching 不是"另一种范式",而是 score matching 的一个旋转视角。直接看公式:

对 Gaussian 条件路径 $p_t(x|x_1) = \mathcal{N}(\mu_t(x_1), \sigma_t(x_1)^2 I)$,条件 score 是:

$$\nabla_x \log p_t(x|x_1) = -\frac{x - \mu_t(x_1)}{\sigma_t(x_1)^2}$$

而条件速度 $u_t(x|x_1)$(§6.2 的公式)可以写成:

$$u_t(x|x_1) = \mu_t'(x_1) + \sigma_t'(x_1) \cdot \frac{x - \mu_t(x_1)}{\sigma_t(x_1)}$$

对照一下,发现 $u_t$ 是 score 的"线性重组"——同一份信息换种参数化。所以训条件 FM 和训条件 score matching 本质学的是同一个东西。这一点是 flow matching 不可怕的根本原因——你不是在学一种新东西,只是在换一个目标的表达方式。

🟡 教材外补充:为什么这么多人最近从 DDPM 改投 flow matching?
  • 目标函数更干净:MSE on velocity,没有 SDE 的方差爆炸问题,没有 $\epsilon$-prediction 和 $v$-prediction 之争——OT 路径下目标就是 $x_1 - x_0$,一行代码。
  • 采样更少步:rectified flow(Liu et al.)和 reflow 让 1–4 步采样可用,对比 DDPM 的 1000 步 / DDIM 的 50 步是质的飞跃。
  • 对 noise schedule 更鲁棒:Esser et al. 2024(SD3 论文)做了大量消融,发现 logit-normal sampling of $t$ + OT 路径在 ImageNet 上稳定优于 EDM。
  • 工业级 batch 友好:每个样本一条独立路径,可以完全并行,没有 DDPM "每个样本被绑在它的 noise schedule 上" 的尴尬。
所以 SD3、Flux.1、SORA、Movie Gen 全转向 flow matching,不是赶时髦——是工程上确实赢了。

九、采样:5–10 步 Euler 就够

训完 $v_\theta(x, t)$,采样就是数值积分一个 ODE:

$$\frac{dx}{dt} = v_\theta(x, t),\qquad x(0) \sim \mathcal{N}(0, I)$$

最朴素的 Euler 方法(CMU L13 chunk #1638 讲完离散 FM 后的采样过程几乎一字不差搬过来):

采样循环(连续 FM)
1. $x_0 \sim \mathcal{N}(0, I)$
2. 步长 $\Delta t = 1/N$
3. 对 $k = 0, 1, \dots, N-1$:
     $t_k = k \Delta t$
     $x_{k+1} = x_k + \Delta t \cdot v_\theta(x_k, t_k)$
4. 返回 $x_N$ 作为样本

典型选择 $N \in \{5, 10, 20\}$。对 OT 路径 + rectified flow,$N = 1$ 都能出图(直接走完整条直线)。这就是 SD3-Turbo / Flux-Schnell 的 1 步生成的物理基础。

⚠️ 这里的 t 方向要小心:flow matching 的 $t$ 从 0(噪声)走到 1(数据),和 DDPM 反过来(DDPM 的 $t=0$ 是数据,$t=T$ 是噪声)。这个翻向不会改变本质,但工程上读 paper / 看代码时常常掉坑。讲师 CMU L13 chunk #1637 专门提醒:"The time scale flips, right? So you start from $t = 0$."

更高阶的积分器(Heun、RK4、DPM-Solver-flow)能进一步把 $N$ 压到 4 步、3 步。但 Euler 5 步在 SD3 上和 DDIM 50 步基本同质量,已经够好。

条件速度场 $u_t(x|x_1)$ 边际速度场 $u_t(x)$(积分后) $x_1$(一个数据点) 闭式:$u_t(x|x_1) = x_1 - x_0$(OT 路径) 不可解析;但 CFM 定理保证 $v_\theta \to u_t$

十、和重参数化技巧的关系:又一次"clean data prediction"

CMU L13 chunk #1635–1637 反复强调一个 motif——所有 diffusion 论文最后都收敛到"预测 clean data 或它的某个简单变形"。讲师原话(chunk #1637):

「In all the discrete diffusion papers ... no matter what you do, try to reparameterize your thing into something that you can directly get from the forward process and the clean data estimation. It's actually not only the discrete diffusion paper—it's actually all diffusion paper. ... For example, the epsilon prediction and the v prediction. And in this case, this is literally just the x0 prediction or the clean data prediction.」

把这句话放到连续 flow matching 上:

  • OT 路径下,$u_t(x_t | x_1) = x_1 - x_0$ —— 你要学的就是"从噪声指向 clean data"。
  • 等价地,可以让网络预测 $\hat x_1$(clean data prediction),再用 $\hat x_1 - x_0$ 反推出速度。
  • 等价地,可以预测 $\hat \epsilon$(noise prediction),用 $x_1 - \hat\epsilon$ 反推。

SD3 论文的"参数化消融"就把这几种全试了一遍,发现差距很小——因为它们都是同一信息的线性重参数化。"预测 clean data" 在连续 / 离散 / score / FM 四个 setting 里反复出现,是整个生成模型族系最深的不变量。

十一、PyTorch 实战骨架(OT 路径 + Euler 采样)

下面是一个最小可跑的 flow matching 训练 + 采样代码骨架,OT 路径 + Euler 5 步:

import torch
import torch.nn as nn
import torch.nn.functional as F

# ============ 1. 速度场网络(任意 MLP / U-Net 均可)============
class VelocityNet(nn.Module):
    def __init__(self, dim=2, hidden=128):
        super().__init__()
        self.net = nn.Sequential(
            nn.Linear(dim + 1, hidden), nn.SiLU(),  # +1 是把 t 拼进来
            nn.Linear(hidden, hidden), nn.SiLU(),
            nn.Linear(hidden, hidden), nn.SiLU(),
            nn.Linear(hidden, dim),
        )

    def forward(self, x, t):
        # x: [B, dim], t: [B, 1] in [0, 1]
        return self.net(torch.cat([x, t], dim=-1))


# ============ 2. Conditional Flow Matching 训练步 ============
def cfm_step(model, x1, opt):
    """
    x1: [B, dim] 一批数据样本
    OT 条件路径: x_t = (1 - t) * x0 + t * x1
    条件速度: u_t(x|x1) = x1 - x0   (常向量!)
    """
    B = x1.shape[0]
    t = torch.rand(B, 1, device=x1.device)          # t ~ U(0,1)
    x0 = torch.randn_like(x1)                        # 噪声端
    xt = (1 - t) * x0 + t * x1                       # 条件路径上采样
    u_target = x1 - x0                               # 闭式条件速度

    v_pred = model(xt, t)
    loss = F.mse_loss(v_pred, u_target)              # 就这一行!

    opt.zero_grad(); loss.backward(); opt.step()
    return loss.item()


# ============ 3. Euler 采样 ============
@torch.no_grad()
def sample(model, n=64, dim=2, steps=5, device='cuda'):
    x = torch.randn(n, dim, device=device)           # 从 N(0, I) 起步
    dt = 1.0 / steps
    for k in range(steps):
        t = torch.full((n, 1), k * dt, device=device)
        x = x + dt * model(x, t)                     # Euler 一步
    return x                                          # x ≈ p_data 采样


# ============ 4. 训练循环 ============
model = VelocityNet(dim=2).cuda()
opt = torch.optim.Adam(model.parameters(), lr=1e-3)
for epoch in range(100):
    for x1 in dataloader:                            # 你的数据 loader
        cfm_step(model, x1.cuda(), opt)
samples = sample(model, n=1024, steps=5)             # 5 步采 1024 张
🛠️ 真正实现里要补的细节:
  • 时间采样的偏置:均匀 $t \sim \mathcal{U}(0,1)$ 在中段($t \approx 0.5$)损失最小。SD3 改用 logit-normal $t = \mathrm{sigmoid}(z), z \sim \mathcal{N}(0, 1)$,让更多采样集中在中间——质量明显提升。
  • EMA:网络权重做指数移动平均($\mathrm{decay} = 0.9999$),采样时用 EMA 权重,FID 通常掉 1–2 个点。
  • Conditioning(CFG):text-to-image / class-conditional 直接把 condition embedding 拼进网络输入。Classifier-free guidance 沿用 DDPM 的 trick——10% 概率丢弃 condition,采样时 $v = v_\text{cond} + s(v_\text{cond} - v_\text{uncond})$。
  • U-Net / DiT 替换:上面的 MLP 只是玩具;实战图像生成用 DiT(diffusion transformer)或 U-Net,输入额外 time embedding。

十二、几条常被问的"为什么"

12.1 为什么 flow matching 可以不用 SDE?

因为概率路径 $p_t$ 已经把"端点对接"的事情做完了——你规定了 $p_0$ 和 $p_1$,规定了中间怎么演化。剩下只是沿着这条规定走的"司机"(速度场)。DDPM 那一套 SDE 是因为前向加噪是随机过程,反向必须也写成随机过程才对得上;flow matching 直接放弃随机性,用纯 ODE 走——这是设计选择,不是必须。

12.2 那为什么 SD3 不用 stochastic sampler?

实测下来,ODE-only 采样在 5 步内已经够好;引入 stochasticity(如 stochastic sampler)只有在采样步数很多时才有微弱质量提升,但代价是更慢的并行化。SD3 论文消融选择了纯 ODE。

12.3 那 likelihood 怎么办?

Flow matching 训完后不能像 DDPM 那样直接给出 $\log p(x)$——这是它的代价。但可以通过 instantaneous change-of-variables 公式($d \log p_t / dt = -\nabla \cdot v_\theta$,第 12 章讲过)顺着 ODE 积分把 likelihood 算出来——慢,但能算,作为评测足够。

12.4 和 rectified flow 是什么关系?

Rectified flow(Liu et al. 2022)= flow matching + OT 路径 + 反复 "reflow"。Reflow 的意思是:训完一个 $v_\theta^{(1)}$,用它把噪声推到数据上采样一遍得到新对 $(x_0, \hat x_1)$,用这些新对再训一遍。每次 reflow 让轨迹更"直",最终 1 步采样质量逼近多步采样。SD3 没做 reflow(保留多步),Flux-Schnell 做了。

12.5 离散 token 也能 flow matching 吗?

能——CMU L13 整节课就在讲这件事。把"连续 velocity"换成"transition rate matrix",把"continuity equation"换成"Kolmogorov forward equation",把 Euler ODE 换成"continuous-time Markov chain (CTMC)"。整套骨架在离散空间上一一对应,最后训的还是 cross-entropy 形式的 clean-data prediction(chunk #1637)。这就是 Discrete Flow Matching / Edit Flow 的思想。

12.6 训练时的 $t$ 怎么采才合理?

朴素的 $t \sim \mathcal{U}(0, 1)$ 在大多数 setup 下会让网络在中段($t \approx 0.5$)反复看到一堆"既不像噪声也不像数据"的中间态,loss 自然更难学。SD3 论文(Esser et al. 2024)做了大量消融,最后选了 logit-normal $t = \mathrm{sigmoid}(z), z \sim \mathcal{N}(\mu, \sigma^2)$,对图像生成相当于把更多采样放到中间——FID 改善很明显。Flux 用类似策略。

12.7 Flow matching 训出来的模型可以接 score-based 采样器吗?

可以。前面提到条件 velocity 和条件 score 是同一份信息的线性重组,所以在路径已知的情况下,可以从 $v_\theta$ 反推 $s_\theta = \nabla_x \log p_t$,然后用任何 score-based 采样器(DPM-Solver、Heun、SDE sampler)跑。这就是为什么"FM 训 + DDIM 采"在一些代码库里能跑通——它们说的是同一个潜在物理。

📺 CMU 10799 Lecture 5:从 SDE / score matching 推到 flow matching 的开场动机("why not just linear interpolate the two ends")
📺 CMU 10799 Lecture 13(3:32 处):讲师把 conservation of mass、continuity equation、velocity、ODE 一行行写出来——连续 FM 和离散 FM 共享同一套语言

十三、把 flow matching 放进整张 diffusion 地图

到这里你应该能画出整门课的"家族树"了:

  • VAE(第 2 章):一步压缩 + 一步还原,ELBO 训练;
  • DDPM(第 7 章):T 步 hierarchical VAE,预测噪声;
  • Score Matching / SDE(第 10 章):从离散步数推到连续时间,学 score function;
  • CNF(第 12 章):用 ODE 取代 SDE,但 MLE 训练贵;
  • Flow Matching(本章):用 MSE 训 CNF,目标干净、采样飞快;
  • Rectified Flow / SD3 / Flux(后续章节):FM + OT 路径 + reflow,工业落地。

整张图的不变量只有一个——预测 clean data(或它的简单线性变形)。讲师 CMU L13 反复强调的这一点,就是你在所有 diffusion 论文里都能看到的"通用底层接口"。

所以当你下次读一篇新出的 diffusion / flow 论文,可以先用三个问题套一遍:"它选了什么概率路径?目标函数是哪种 reparameterization($\epsilon$、$v$、$x_1$、velocity)?采样器用了哪种数值积分?"——这三件事确定了,论文的其它内容大半就是工程细节。Flow matching 之所以好教好用,恰恰是因为它把这三个轴显式地分开了,而不像 DDPM 那样把"路径选择"和"目标函数"绑在 forward noising schedule 里耦合在一起。

🟡 教材外补充:一个常见的认知滑坡。很多人会把"flow matching = 用 OT 路径"或者"flow matching = 直接预测 $x_1 - x_0$"——这是把一种特殊实现当成了整个框架。准确表述是:flow matching 是一个目标函数族(对速度场的 MSE 回归),路径和参数化都是自由选项。把 OT 路径换成 DDPM 的 VP 路径,flow matching 立刻退化成 score matching 的同款训练目标。这个"自由度"才是它替代 DDPM 的真正力量。

本章要记住的(讲师亲口给的核心)

  1. Flow matching = MSE on velocity field。不学 score,不学 noise,直接学速度场。讲师 CMU L13:"this is the only thing that we need to learn."
  2. 概率路径 $p_t$ 是骨架,$p_0 = \mathcal{N}(0,I) \to p_1 = p_\text{data}$,中间怎么走由你设计。OT 路径(线性插值)是 SD3、Flux 的标配。
  3. 两条物理守恒律:conservation of mass(概率加和为 1)+ continuity equation($\partial_t p_t + \nabla\cdot(p_t u_t) = 0$)。讲师:"super intuitive, I hope"——概率进 = 概率出。
  4. 边际 $u_t$ 不可解析 → 用条件 $u_t(x|x_1)$。CFM 定理(Lipman et al. 2023, Thm 2)保证两个 loss 对参数梯度相等:训简单的,得到难学的。
  5. OT 路径下条件速度 $= x_1 - x_0$。一行代码:loss = mse(v_theta(xt, t), x1 - x0)。整个 SD3、Flux 的训练精髓在这一行。
  6. 采样 Euler 5 步够用。$x_0 \sim \mathcal{N}(0,I)$,$x_{k+1} = x_k + \Delta t \cdot v_\theta(x_k, t_k)$。比 DDPM 1000 步快两个量级。时间方向反过来——$t=0$ 是噪声,$t=1$ 是数据。
  7. 不变量是 clean data prediction。讲师:"it's actually all diffusion paper"——从 $\epsilon$-prediction、$v$-prediction 到 flow matching,最终都收敛到"预测干净数据或它的线性变形"。