概念

v-Prediction

— 让网络预测「速度」$v = \alpha_t\epsilon - \sigma_t x_0$,在全 SNR 范围数值稳定。

v-prediction 不是超参数——它是一种「在整个 SNR 区间都数值稳定」的参数化方式。很多初学者第一次看到 Stable Diffusion 2.1 或 Stable Video Diffusion 的配置文件里写着 prediction_type: "v_prediction",下意识地以为这是个可以拨高拨低的小开关,或者是一种正则化强度的调节项。这种理解会让你在阅读代码时彻底走偏。事实上,它是把网络要预测的对象从 $\epsilon$(噪声)或 $x_0$(干净图)换成一个新量 $v$;训练循环里目标张量的构造方式、损失的指向、采样阶段反推 $x_0$ 的公式、甚至 classifier-free guidance 的混合点,全部都要随之改写。换句话说:它不是一颗旋钮,而是一根管线的换装。

讲师 CMU 10-799 在第十节课讲到 progressive distillation 时,用了一个非常轻描淡写的句子带过 v-prediction 这件事:

「This is the paper that tells you that you should do V prediction—V prediction is the best parameterization.」
—— CMU 10-799 S26 · L10 · Distillation, Consistency Models & Flow Maps(约 05:11)

讲师口中「the paper」指的是 Salimans & Ho 2022, Progressive Distillation for Fast Sampling of Diffusion Models(ICLR 2022)。这节课的主线其实是「如何把 1000 步采样蒸馏到几步」,v-prediction 只是被顺手提了一句、作为「在蒸馏管线里要用它」的工具。讲师没有进一步展开「为什么」——而这正是初学者最想知道的地方。本词条的主要任务就是补上这一层。

🟡 教材外补充:lecturer metaphor

把扩散过程想成一个钟摆从 12 点钟方向(干净图像 $x_0$)一路摆到 6 点钟方向(纯高斯噪声 $\epsilon$)。$\epsilon$-prediction 这种参数化,让网络始终盯住 6 点钟的位置去描述「我离那儿还差多远」;$x_0$-prediction 则让网络始终盯住 12 点钟的位置去描述同样的事情。两种问法在「钟摆已经几乎走到对面」时都会变得非常困难——离参考点太远、方向变化太剧烈、损失曲面对预测误差极度敏感。v-prediction 让网络改为预测钟摆当下的瞬时角速度。无论钟摆此刻是停在 12 点、3 点还是 6 点,角速度都是一个有界的、温和的、可学习的量——它只关心「下一刻该往哪偏一点点」,不需要知道终点离自己多远。这就是 v-prediction「在所有时间步 $t$ 上都数值稳定」的几何直觉。

在训练里,这件事对应一个非常具体的工程关切:你把同一个 UNet 训练在 $t \in [0, T]$ 这么宽的时间步范围上,希望损失对每个 $t$ 都贡献得相对均衡——不希望网络把所有「注意力」都耗在 $t$ 落在中段(SNR 中等)的样本上,而对 $t \to 0$ 和 $t \to T$ 两个角落处的样本无能为力。v-parameterisation 让损失在两个极端角落都不退化,这是它被 Imagen、SD 2.1、SVD 等大型工业模型选中的根本原因。

🟡 教材外补充:为什么蒸馏首先需要 v

讲师所在的这节课正在讲 progressive distillation——把 1000 步采样的「老师模型」蒸馏成 500 步、250 步、……、最终 4 步甚至 1 步的「学生模型」。在这种激进的步数压缩里,学生模型必须在极端 $t$ 上也能可靠地预测,否则蒸馏的链路会从端点开始崩。在 1000 步的常规采样里你可以容忍 $t = 999$ 的预测带一点噪声,反正它只占总轨迹的 0.1%;但在 4 步采样里 $t = 999$ 是整条轨迹的25%,端点一旦失稳整张图就毁了。v-prediction 不是为常规训练而生,它是为「端点必须稳」的训练目标而生——这正是 Salimans & Ho 把它放进 Progressive Distillation 论文的内在动机,也是讲师在课堂上一句带过却需要单独词条展开的原因。

定义与三角恒等式视角

扩散过程的前向破坏,在标准 VP-SDE 或 DDPM 写法下可以写成一行非常简洁的线性组合:

$$x_t = \alpha_t \cdot x_0 + \sigma_t \cdot \epsilon, \qquad \epsilon \sim \mathcal{N}(0, I)$$

其中 $\alpha_t = \sqrt{\bar\alpha_t}$、$\sigma_t = \sqrt{1-\bar\alpha_t}$、并且恒有 $\alpha_t^2 + \sigma_t^2 = 1$(这是 variance-preserving 调度的定义)。这个「平方和等于一」的约束非常关键——它让我们能引入一个单一的角度 $\phi_t$ 来重新参数化两个系数:

$$\alpha_t = \cos\phi_t, \qquad \sigma_t = \sin\phi_t, \qquad \phi_t \in [0, \pi/2]$$

代回去就得到 $x_t = \cos\phi_t \cdot x_0 + \sin\phi_t \cdot \epsilon$ —— 这正好就是平面上从 $x_0$ 到 $\epsilon$ 的一次旋转。$\phi_t$ 是「噪声角」,从 $\phi_0 = 0$(完全是 $x_0$)转到 $\phi_T = \pi/2$(完全是 $\epsilon$)。在这个圆弧上,v 的定义就是「切向速度」:对 $x_t$ 关于 $\phi_t$ 求导。

$$v_t := \frac{dx_t}{d\phi_t} = -\sin\phi_t \cdot x_0 + \cos\phi_t \cdot \epsilon = \alpha_t \epsilon - \sigma_t x_0$$

最后一行的代换用回了 $\alpha_t = \cos\phi_t$、$\sigma_t = \sin\phi_t$。这就是 quickref 里给出的定义式 $v_t = \alpha_t\epsilon - \sigma_t x_0$ 的几何来源。请记住:v 是 $x_t$ 这条圆弧轨迹上的切线方向——它的长度永远等于半径(在标准化坐标下 $\|v\| = 1$),方向随 $\phi_t$ 平滑转动,因此天然有界。

🟡 教材外补充:why "v" stands for velocity
Why「velocity」这个命名:$v = dx_t/d\phi_t$ 字面意思就是「$x_t$ 对噪声角 $\phi_t$ 的导数」。它衡量的是「噪声角再增加一个微小角度 $d\phi_t$,$x_t$ 会沿什么方向移动 $dx_t$」。这跟物理里「位置对时间求导得到速度」是同一个套路。Salimans & Ho 在论文里沿用了力学的命名习惯,所以这种参数化方式叫做 v-parameterisation。同样地,flow matching 里 $v_\theta(x, t) = dx/dt$ 用的也是同一个命名传统。

三种等价参数化

给定同一个被破坏的样本 $x_t$,你完全可以让网络输出三种不同对象中的任何一种:$\hat\epsilon$(预测加进去的噪声)、$\hat x_0$(预测原始干净图)、或 $\hat v$(预测速度)。这三种选择在信息量上是等价的——只要网络给出其中一个,另外两个都能由线性代数直接推出来,不需要任何额外的网络调用。下面这张换算表就是把「我手里只有 $x_t$ 和网络输出」翻译成 $x_0$ 和 $\epsilon$ 的完整字典:

预测目标由网络输出还原 $x_0$由网络输出还原 $\epsilon$
$\hat\epsilon$$x_0 = (x_t - \sigma_t\hat\epsilon)/\alpha_t$$\epsilon = \hat\epsilon$
$\hat x_0$$x_0 = \hat x_0$$\epsilon = (x_t - \alpha_t\hat x_0)/\sigma_t$
$\hat v$$x_0 = \alpha_t x_t - \sigma_t \hat v$$\epsilon = \sigma_t x_t + \alpha_t \hat v$

仔细对比这张表的三行——你会发现 $\hat\epsilon$ 那一行的还原公式里有 $1/\alpha_t$、$\hat x_0$ 那一行有 $1/\sigma_t$;这两个量在 $t$ 走到端点时都会趋近于 0,分母会爆。而 $\hat v$ 那一行完全没有除法——所有出现的系数都是 $\alpha_t$ 和 $\sigma_t$ 本身,二者都被夹在 $[0, 1]$ 之间。这就是「v-prediction 全程数值稳定」最直接、最朴素的代数证据。如果你只想记住一件事,请记住:三种参数化在「能不能算」这件事上完全等价;但只有 v-prediction 的还原公式不含分母,所以它在端点上不会因为数值精度问题彻底失效。

Why 数值稳定不是玄学:当 $t \to 0$(几乎是干净图),$\sigma_t \to 0$、$\alpha_t \to 1$。在 $\epsilon$-prediction 下,$\hat\epsilon$ 的「真值」此时只来自图像里极微弱的噪声痕迹——监督信号被 $\sigma_t$ 自身按比例压扁,本就稀薄。反过来当 $t \to T$(几乎纯噪),$\alpha_t \to 0$、$\sigma_t \to 1$,$x_0$-prediction 此时的「真值」$x_0$ 几乎完全淹没在噪声里——网络等于在白噪声里猜原图。v-prediction 在两端都不存在这种监督信号的退化,因为 $v_t$ 本身始终是 $x_0$ 与 $\epsilon$ 的一个固定模长的线性组合($\|v_t\| = \sqrt{\alpha_t^2 + \sigma_t^2} = 1$),不会塌缩。

训练目标

v-prediction 的损失函数仍然是熟悉的 MSE 形式,只是回归目标换了一个张量:

$$\mathcal{L}_{\text{v-pred}} = \mathbb{E}_{x_0, \epsilon, t}\left[\| v_\theta(x_t, t) - v_t \|^2\right]$$

其中 $v_t = \alpha_t\epsilon - \sigma_t x_0$ 是从同一组采样 $(x_0, \epsilon, t)$ 算出来的「真值速度」。整个训练循环和 $\epsilon$-prediction 几乎一模一样——同一个 UNet、同一个 timestep 采样策略、同一个 batch loader、同一个 EMA——你只是在 forward pass 末尾把目标张量从 $\epsilon$ 换成 $v$。代码改动通常不超过五行。

🟡 教材外补充:与 simple loss 的对应

注意原始 DDPM 的「simple loss」$\mathcal{L}_{\text{simple}} = \mathbb{E}[\|\hat\epsilon - \epsilon\|^2]$ 已经是去掉了 ELBO 加权系数的简化版。v-prediction 的损失虽然形式上也是同样的 MSE 表达式,但等价于带一个特定 SNR 加权的 $\epsilon$ 损失:将 $v_t = \alpha_t\epsilon - \sigma_t x_0$ 的真值代入展开,会发现 $\|v_\theta - v_t\|^2$ 在数学上隐含了一个 $\alpha_t^2 + \sigma_t^2 = 1$ 的对称权重——这就是它在两个端点都不退化的代数原因。Imagen 论文里把这种隐式加权称为 "SNR-weighted loss",并显式证明了它与 v-prediction 在数学上是同一件事。换句话说:你可以把 v-prediction 理解成「在 $\epsilon$-loss 上重新分配 timestep 权重」的最简洁实现方式,而你完全不需要写出复杂的加权代码,仅靠换目标张量这一步就完成了。

采样阶段的相应改动

训练改完了,采样阶段也要相应调整。DDIM、DDPM 这些采样器在每一步的更新公式都依赖于「我现在知道 $\hat\epsilon$ 或 $\hat x_0$」。v-prediction 的网络只给出 $\hat v$,所以你要在 sampler 的每次循环里加一行换算:先用 $\hat x_0 = \alpha_t x_t - \sigma_t \hat v$ 把干净图估计出来,或者用 $\hat\epsilon = \sigma_t x_t + \alpha_t \hat v$ 把噪声估计出来——具体用哪一个取决于你的采样器走 $x_0$-based 路径还是 $\epsilon$-based 路径。HuggingFace 的 diffusers 库在所有 scheduler 类里都用一个统一的 step() 方法封装这个换算,对外暴露同样的接口,所以从 ε-pred 切换到 v-pred 时业务代码几乎不用改。

🟡 教材外补充:zero-terminal-SNR 与 v-prediction 的搭配

SD 2.1 在采用 v-prediction 的同时还做了一件事:把噪声调度的终端 SNR 设为零,即让 $\sigma_T = 1$ 严格成立。这个组合俗称 "zero-terminal-SNR + v-prediction",是 Lin et al. 2024 论文《Common Diffusion Noise Schedules and Sample Steps are Flawed》提出的修复方案——他们发现常规的 cosine 调度其实在 $t = T$ 时仍残留少量信号($\sigma_T$ 略小于 1),这会让模型在采样时永远没法生成「真正的纯灰」背景。而把终端 SNR 强制为零后,$\epsilon$-prediction 直接失效(因为反推 $x_0$ 需要除以 $\alpha_T = 0$),所以必须配合 v-prediction 使用。这是为什么这两个改动几乎总是同时出现在工业模型中的工程原因。

🟡 教材外补充:常见框架的配置开关

在 HuggingFace diffusers 里,切换参数化只需要在 scheduler 的构造函数里传 prediction_type="v_prediction"(默认是 "epsilon",少数 scheduler 还支持 "sample" 即 $x_0$-pred)。在 PyTorch 的训练代码里,损失计算大约是这三行:先按时间步 $t$ 查表得到 $\alpha_t$ 和 $\sigma_t$、再算真值 $v_t = \alpha_t\epsilon - \sigma_t x_0$、最后把 UNet 输出和 $v_t$ 算 MSE。理解了几何含义之后,工程层面的切换工作量非常小,主要的认知负担都集中在「为什么换目标」这一层——这正是本词条希望补齐的环节,也是讲师在课堂上一句带过、留给读者自学的部分。

扩散时间步 $t$(从 0 到 T) 还原 $x_0$ 的放大系数 t=0 t=T/2 t=T $\hat\epsilon$:$t\to T$ 爆 $\hat x_0$:$t\to 0$ 爆 $\hat v$:全程有界

切换三种参数化,注意看: $\hat v$ 的还原系数在 $t \in \{0, T/2, T\}$ 三个采样点上始终是 $\alpha_t, \sigma_t \in [0, 1]$;$\hat\epsilon$ 在 $t=0$ 处出现 $1/\sigma_t = \infty$、$\hat x_0$ 在 $t=T$ 处出现 $1/\alpha_t = \infty$。

$\hat\epsilon$-pred $\hat x_0$-pred $\hat v$-pred ∞ ≈0 ~1
$t \approx 0$:$\sigma_t \to 0$;要从 $\hat\epsilon$ 还原 $x_0$ 需除以 $\alpha_t \to 1$(OK),但损失信号被噪声本身的微弱性削弱。$\hat\epsilon$ 不爆但失效;$\hat x_0$ 还原 $\epsilon$ 要除以 $\sigma_t \to 0$,爆。
$t = T/2$:$\alpha_t = \sigma_t = 1/\sqrt{2}$,三种参数化在数值上势均力敌。
$t \approx T$:$\alpha_t \to 0$。$\hat x_0$ 还原 $x_0$ 直接是 $\hat x_0$(OK),但监督信号微弱;$\hat\epsilon$ 还原 $x_0$ 要除以 $\alpha_t \to 0$,爆。

手算:从 $\hat v$ 还原 $x_0$ 和 $\epsilon$

挑一个具体的时间步来跟着算一遍。设累积 $\bar\alpha_t = 0.36$——这是某个中段 $t$ 上的典型值。那么 $\alpha_t = \sqrt{0.36} = 0.6$、$\sigma_t = \sqrt{1 - 0.36} = \sqrt{0.64} = 0.8$(自验 $\alpha_t^2 + \sigma_t^2 = 0.36 + 0.64 = 1$ ✓)。再设某个像素位置上的当前噪声样本 $x_t = 0.5$,网络的输出 $\hat v = 0.2$。我们要用 v-prediction 的两条还原公式把 $\hat x_0$ 和 $\hat\epsilon$ 都算出来:

$$\hat x_0 = \alpha_t x_t - \sigma_t \hat v = 0.6 \cdot 0.5 - 0.8 \cdot 0.2 = 0.30 - 0.16 = 0.14$$

$$\hat\epsilon = \sigma_t x_t + \alpha_t \hat v = 0.8 \cdot 0.5 + 0.6 \cdot 0.2 = 0.40 + 0.12 = 0.52$$

这两个数都是 v 通过纯线性组合得到的,没有任何除法、没有任何分母会爆的风险。最后验证一致性:把它俩代回前向公式应该正好得到 $x_t$。

$$\alpha_t \hat x_0 + \sigma_t \hat\epsilon = 0.6 \cdot 0.14 + 0.8 \cdot 0.52 = 0.084 + 0.416 = 0.500 = x_t \ \checkmark$$

三种参数化在这个例子里互相印证、信息量完全等价。差异不在「能不能算」,而在「在端点上算的时候稳不稳」——这是 v-prediction 区别于另外两种的核心,也是它在工业级模型里被广泛采用的工程动机。建议你在脑中把这个手算流程跑一遍,建立起对各项系数大小的直觉。

常见误区

  1. 「v-prediction 是一个超参数,可以调高调低」。反例:它是预测目标本身的更换,不是一个连续参数。配置文件里写 prediction_type: "v" 时,损失计算的目标张量、scheduler 反推 $\hat x_0$ 的公式、采样器在每一步的更新方程、甚至 classifier-free guidance 中条件与无条件输出的混合点都要切换。「v = 0.5 的中间值」这种东西并不存在——它是离散的三选一($\epsilon$ / $x_0$ / $v$),三种参数化要么完全切换、要么完全不切换。
  2. 「v-prediction 比 ε-prediction 在所有场景下都收敛得快好几倍」。反例:在 SD 1.5 这类 $T = 1000$ 步、SNR 中段样本为主的常规训练里,两者的训练损失曲线几乎完全重合,最终 FID 也差异不大。v-prediction 的优势主要出现在极端时间步训练(用 zero-terminal-SNR 调度让 $\sigma_T \to 1$)和蒸馏到 4 步以下采样的场景——这也正是 Progressive Distillation 论文当年首次采用它的根本原因:蒸馏的「老师-学生」匹配在 $t \to T$ 端点上必须稳定,否则学生模型连第一步都跨不过去。
  3. 「采样时直接把 $\hat v$ 当 noise 减掉就行」。反例:扩散采样器(DDPM、DDIM、DPM-Solver 等)的更新公式需要的是 $\hat\epsilon$ 或 $\hat x_0$,不是 $\hat v$。要么先用 $\hat\epsilon = \sigma_t x_t + \alpha_t \hat v$ 把 ε 还原出来再走 DDIM/DDPM 公式;要么直接用 $\hat x_0 = \alpha_t x_t - \sigma_t \hat v$ 走 $x_0$-based 采样路径。如果错把 $\hat v$ 当成 $\hat\epsilon$ 直接减掉,得到的不是图像,而是一团完全乱码——因为 $v$ 在几何上是切线方向、不是径向噪声方向,二者朝向完全不同。

相关概念

🟡 教材外补充:connection to flow matching

Flow matching 与 rectified flow 训练一个「速度场」$v_\theta(x_t, t)$,让样本沿着一条直线轨迹从 $x_0$ 走到 $\epsilon$;它的真值速度是 $v_t^{\text{flow}} = \epsilon - x_0$,也是位置对时间的导数。比较 v-prediction 的 $v_t = \alpha_t\epsilon - \sigma_t x_0$ 和 flow matching 的 $v_t^{\text{flow}} = \epsilon - x_0$,你会发现:v-prediction 是同一个几何思想的圆弧版本(沿 $\phi_t$ 参数化的圆弧切线)、而 flow matching 是直线版本(沿 $t$ 线性插值的直线切线)。两者本质上都在「让网络预测当前位置朝向终点的瞬时方向」。

这也解释了为什么 SD3、Stable Video Diffusion 这一代模型可以从 v-pred 平滑过渡到 rectified flow——它们共享同一套「预测速度」的训练管线,工程上的切换成本极低,只需要把圆弧轨迹换成直线轨迹、把对应的真值速度换一下。理解 v-prediction,几乎就是同时理解了 flow matching 的训练目标。

来源

  1. cmu-10799-diffusion-flow · L10 · Distillation, Consistency Models & Flow Maps · (5:11)
🟡 教材外补充:primary citation & deployment

Salimans & Ho 2022, Progressive Distillation for Fast Sampling of Diffusion Models, ICLR 2022(arXiv:2202.00512)—— v-parameterisation 的原始论文。论文的主要贡献其实是「逐步蒸馏」算法(把 $N$ 步采样的老师蒸馏成 $N/2$ 步的学生、反复迭代直到几步采样),v-prediction 在论文里是作为「蒸馏过程中稳定数值」的必要工具被引入的。这种参数化随后被广泛采用,目前已部署于 Google 的 Imagen、Stability AI 的 Stable Diffusion v2.1、以及 Stable Video Diffusion 等工业级模型。SD3 系列虽然改用了 rectified flow,但训练管线与 v-prediction 几乎同构——可以说,v-prediction 是「现代扩散训练目标」这一族里最早的成员。

查看 1 条课程原文出处
CourseLectureTimeExcerpt
cmu-10799-diffusion-flow L9: CMU 10799 S26: Lecture 10 - Distillation, Consistency Models & Flow Maps - Diffusion & Flow Matching 05: 11 way this is the paper that tells you that you should do V prediction like V that you should do V prediction like V that you should do V prediction like V prediction is the best parameterization predic…