第 20 章 · Module 6: 离散与语言扩散

Masked Diffusion 与 SEDD

MASK 作为「噪声」——和 BERT 的关系。


20. Masked Diffusion 与 SEDD

主源:CMU 10799 S26 Lecture 12(讲师 Hao Zhang,离散扩散与 masked diffusion 主线);副源:Vizuara《Diffusion LLM》Lecture 12-17(Dr. Raj Dandekar,从代码层面拆 noising / noise-predict / denoising 三步)。

📌 TL;DR

Masked Diffusion 用「把 token 遮掉」当噪声。前向过程:每一步以概率 $\beta_t$ 独立地把每个尚未被遮的 token 替换成特殊符号 [MASK];走到底,整条序列全是 [MASK]。这个过程对应离散扩散里一个特殊的 absorbing transition——一旦掉进 [MASK] 状态就再也出不来。

它的好处是 $q(x_t \mid x_0)$ 有闭式解:每个位置独立地以 $\bar\beta_t$ 的概率变成 [MASK]、以 $1-\bar\beta_t$ 的概率保留原 token。训练损失就是带变化掩码率的 BERT 式交叉熵——模型见过从 1% 到 99% 各种被遮比例的句子,学会在任意噪声水平上重建。

采样是迭代的:从一条全 [MASK] 序列起步,每一步模型并行预测所有 [MASK] 位置的分布,抽样揭开一部分,剩下的留给下一步。这本质上就是 BERT,但是迭代地用。

本章在最后还会铺一层 SEDD(Score Entropy Discrete Diffusion):Aaron Lou 等人 2024 年提出的「concrete score / ratio matching」目标,把 score matching 推广到离散空间,无需依赖高斯假设,是当前离散扩散在非 absorbing 路线上最有理论分量的工作。

一、为什么这一章要单独讲离散扩散?

到目前为止,本教材的全部内容都是连续空间的扩散——DDPM、score-based SDE、Flow Matching、整族都是同一回事,只不过参数化和训练目标不同。CMU L12 开场,讲师把这一点摆得很清楚:

"so far what we have learned are about image, or images get represented in a continuous space, right—because in your homework one and two you need to rescale it to negative one and one and stuff. So the problem is then how about discrete data?"

那为什么非要把扩散推广到离散数据?讲师当场列了三类应用,每一类都不是"image 锦上添花"的事,而是天然就活在离散世界里:

  1. 语言(text)——讲师半开玩笑地引用 Anthropic 的人在 ICML 2024 跟他说:"anything that cannot be expressed or compressed into text is uninteresting information, and image generation is just not on the path to AGI"。不管你同不同意,文本就是当下最重要的离散模态,整个 GPT、Claude、Gemini 都活在 token 这种离散对象上。
  2. 分子与 DNA 序列——SMILES 串、氨基酸、碱基对,全是离散字符。蛋白质设计、药物分子生成、基因序列编辑,这些 high-stakes 应用没法绕开离散建模。
  3. 像素本身也是离散的——你存图像不是真存在连续空间里,是存在 0-255 的 quantized pixel space。每个 channel 是个 8-bit 整数。讲师专门把这点点出来:"technically image should also be represented as discrete data"。换句话说,连续扩散是我们为了好做数学硬把离散数据扔进连续空间,反向操作(在原本的离散空间上做扩散)反而更"诚实"。

更关键的一点是:autoregressive 模型已经把语言建模这件事卷到了天花板,GPT 系列、Llama、Qwen 这些模型的训练栈、推理优化、社区生态已经成熟。Diffusion LM 要想杀进来,必须给出 autoregressive 给不了的东西——并行解码、双向 context、可控生成。本章后面会展开这点。

🧭 本章定位:本章的主概念是 absorbing 变体的离散扩散(也叫 Masked Diffusion),上承第 19 章 Discrete Diffusion 总论,下接第 21 章「从零写一个 Diffusion LLM」(DiffLM 代码实现 + parallel decoding)。读完这一章,你应该能:(1) 在白板上推 $q(x_t\mid x_0)$ 的闭式;(2) 解释为什么 MDLM 不只是"BERT 加上时间步";(3) 知道 SEDD 的 concrete score 和连续 score matching 怎么对应。

二、把噪声搬进文本空间:两个"显然"但失败的尝试

讲师在 CMU L12 上玩了一个互动游戏:让全班同学猜,"文本里的噪声"应该长什么样。这是 chunk #1558–#1560 完整复现的课堂讨论,值得逐条记下来——它解释了为什么我们最后会归到「masking」这一种方案。

2.1 方案 A:在 embedding 空间做连续扩散 + 最近邻

第一位同学的提议(chunk #1554):

"Near space and do like a nearest neighbors type thing to match it."
即:text 先经过 embedding 变成连续向量 → 在连续空间里做正常 DDPM → 反向采样得到一个向量 → 找最近的真实 token embedding。

讲师评价:"this is a good approach",并补了一句重要的历史脚注:

"this idea actually was explored by people from Stanford, and it's actually kind of like the first diffusion language model if you will. But this is pretty much exactly what they did—unfortunately, it didn't work as well as what we're going to talk about today. But that was the first attempt."
🟡 教材外补充:讲师指的 Stanford 那条线,最典型的是 Diffusion-LM(Li et al. 2022, NeurIPS)和后续 SSD-LM。它们在 word embedding 上做高斯扩散,效果在 plug-and-play 控制生成场景下有亮点,但困惑度始终打不过同等规模的 GPT-2。Masked diffusion 直到 2024 年的 MDLM(Sahoo et al., NeurIPS 2024)才在 perplexity 上首次追平甚至略超同规模自回归基线——这就是讲师说的"works better than the first attempt"。

2.2 方案 B:用随机 token 当噪声(Uniform Transition)

第二位同学(chunk #1558):"Incorrect, like just random things... wrong tokens"。讲师让全班看一条 Karpathy 的 tweet 被"加噪"的版本,识别噪声的特征:

  • "I see random emojis in between and random characters"——随机 emoji
  • "Spellings are wrong"——拼写错误
  • "the the the envelope"——重复 token / 错位的 6、7 出现

形式化下来:给定一个 token,以 $\beta$ 的概率把它替换成词表里任意一个随机 token(包括自己)。讲师用一个非常小的玩具词表展开了这一过程,下面我们完整复现 chunk #1562–#1564 的白板推导。

2.3 玩具词表:vocab = {I, love, cat}

设词表只有 3 个 token:I、love、cat。句子 "I love cat" 表示成三个 one-hot 向量:

$$x_0^{(1)} = [1,0,0],\quad x_0^{(2)} = [0,1,0],\quad x_0^{(3)} = [0,0,1]$$

定义转移矩阵 $Q$:以 $\beta$ 的概率「重新采样」(uniform 选一个 token,允许采到自己),其余情况保持不动。对 3-token 词表:

$$Q = \begin{pmatrix} 1-\tfrac{2\beta}{3} & \tfrac{\beta}{3} & \tfrac{\beta}{3} \\ \tfrac{\beta}{3} & 1-\tfrac{2\beta}{3} & \tfrac{\beta}{3} \\ \tfrac{\beta}{3} & \tfrac{\beta}{3} & 1-\tfrac{2\beta}{3} \end{pmatrix}$$

步骤 1:为什么对角线是 $1-\tfrac{2\beta}{3}$ 而不是 $1-\beta$? Why:每个 token 都有 $\beta$ 的概率触发重采样。重采样时 uniform 抽,包括抽到自己。所以"留在原地"的总概率 = "没触发重采样"$(1-\beta)$ + "触发了但又抽到自己"$\beta\cdot\tfrac{1}{3}$ = $1-\tfrac{2\beta}{3}$。讲师在 chunk #1564 原话:"every one has one-third of beta of a chance to get sampled when we try to resample, but otherwise we stay the same".
步骤 2:把转移矩阵应用到 "cat" $$x_0^{(3)} \cdot Q = [0,0,1] \cdot Q = \left[\tfrac{\beta}{3},\;\tfrac{\beta}{3},\;1-\tfrac{2\beta}{3}\right]$$ Why:one-hot × 矩阵 = 取矩阵相应行。这个向量就是"加一步噪后 cat 变成各 token 的概率分布"。本质上,离散扩散的一步前向就是 categorical 分布上的一次 categorical resampling。
📝 记号约定(沿用 CMU 板书):在离散扩散里我们用转移矩阵 $Q_t$ 代替 DDPM 里 $\mathcal{N}(\sqrt{1-\beta_t}x_{t-1}, \beta_t I)$ 那个连续高斯条件分布。形式同构:
• 连续:$q(x_t\mid x_{t-1}) = \mathcal{N}(\cdot)$,$\bar\alpha_t = \prod_s (1-\beta_s)$
• 离散:$q(x_t\mid x_{t-1}) = \mathrm{Cat}(x_{t-1} Q_t)$,$\bar Q_t = Q_1 Q_2 \cdots Q_t$
两边的"复合"都封闭,所以 $q(x_t\mid x_0)$ 也都能一步算出来。

2.4 Uniform Transition 为什么"够用但不够好"?

讲师立刻被一位同学追问(chunk #1565):"when we actually do this for real sentences with real vocabulary, it's not necessary that the noise sentence is actually..."——意思是:如果换成几万个 token 的真实词表,随机抽中一个语义上"恰好通顺"的 token 也是有可能的。讲师承认:"yes, that's right. But like just think about how many tokens are available out there—the chances of that is non-zero but also not high"。

这条 uniform transition 数学上完全合法、能跑、能拿到闭式 $q(x_t\mid x_0)$(D3PM 原论文里就有),但实践里有两个痛点:

  1. "噪声"长得像真句子:被加噪的 token 是一个真实词,模型很难判断"这个位置到底被改过没有"。如果一个 token 没被改,那它是 ground-truth;如果被改了,模型要试着重建。两种情况外观一样,模型只能靠"概率分布学得有多准"间接区分,监督信号被稀释。
  2. 没有显式的「不知道」状态:去噪时模型必须既预测原 token,又判断当前位置该不该改——两个任务耦合在同一个 softmax 输出里,训练难度高。
  3. 每一步对所有位置等概率扰动,但语言里位置的"重要性"差别极大(停用词 vs 关键名词),uniform 不利用任何先验。

这就引出本章主角:用一个独立于词表的特殊符号 [MASK] 当吸收态,把"被改过"显式 encode 在 token 类型本身上。

三、Masked Diffusion 正式登场:用 [MASK] 当噪声

把上一节的 transition 改一改:

每个 token,以概率 $\beta_t$ 被替换成特殊符号 [MASK];否则保留原样。[MASK] 是个"吸收态"——一旦掉进去就永远是 [MASK],不会再变回来或变成别的 token。

这条转移叫 absorbing transition,对应的转移矩阵在词表上多加一行一列([MASK] 作为第 $K+1$ 个状态):

$$Q^{\text{abs}}_t = \begin{pmatrix} 1-\beta_t & 0 & \cdots & 0 & \beta_t \\ 0 & 1-\beta_t & \cdots & 0 & \beta_t \\ \vdots & & \ddots & & \vdots \\ 0 & 0 & \cdots & 1-\beta_t & \beta_t \\ 0 & 0 & \cdots & 0 & 1 \end{pmatrix}$$

最后一行最后一列是 1,说明 [MASK] 状态只会转到自己——这就是"吸收"的形式化。

3.1 闭式的 $q(x_t \mid x_0)$

由于每个 token 独立、且 absorbing transition 极简,把 $Q^{\text{abs}}_1 \cdots Q^{\text{abs}}_t$ 乘开得到非常干净的结果。令 $\bar\beta_t = 1 - \prod_{s=1}^{t}(1-\beta_s)$,则:

$$q(x_t^{(i)} \mid x_0^{(i)}) = \begin{cases} 1-\bar\beta_t & \text{position $i$ 保留原 token } x_0^{(i)} \\ \bar\beta_t & \text{position $i$ 变成 \texttt{[MASK]}} \end{cases}$$

💡 为什么这条公式如此重要?它说:要采一个噪声样本 $x_t$,不用真正跑 $t$ 步前向。直接独立地对每个位置抛硬币:以 $\bar\beta_t$ 概率改成 [MASK],否则保留。和 DDPM 里 $q(x_t \mid x_0) = \mathcal{N}(\sqrt{\bar\alpha_t} x_0, (1-\bar\alpha_t)I)$ 一步采样的精神完全一致——闭式 marginal 让训练效率爆炸。

3.2 边界条件

  • $t=0$:$\bar\beta_0 = 0$,序列原封不动。
  • $t=T$:$\bar\beta_T \to 1$,整条序列变成全 [MASK]。和 DDPM 的"终点是纯高斯"对应——这里终点是"纯空白"。所有信息都被吸收掉了,但序列长度仍然保留——这是离散扩散非常微妙的一点:长度是已知的、不参与扩散,只有 token 内容参与。这也是为什么 diffusion LM 通常需要先决定生成多长再开始 sampling。

3.3 为什么用 absorbing 而不是 uniform?理论与工程双赢

把 absorbing transition 和 uniform transition 摆在一起对比,会发现 absorbing 的几个独门优势:

  • 位置二分清楚:每个位置要么是 [MASK](需要预测)要么是已知 token(条件输入)。模型角色没有歧义。
  • 已揭开的 token 永不再被破坏:反向过程是 "[MASK] → 真 token" 的单向流动,可以一步步累加置信度,不会"今天揭开明天又被打回原形"。
  • 反向过程的 ELBO 项有闭式:在 absorbing 下,KL 散度退化成对每个 [MASK] 位置的交叉熵,不需要对整个词表归一化求 softmax 之外的复杂项。
  • 工程上等于"BERT + 时间嵌入":模型架构、tokenizer、训练栈基本无变化。社区里"用 RoBERTa 权重初始化 MDLM"是常见 trick。

这些性质让 absorbing 路线成为当下 diffusion LM 工业实践的默认选择。但要注意:absorbing 是个受限的设计,丢掉了"token 之间互相转化"的灵活性。SEDD 那条路就是为了把这种灵活性找回来——下文第十节再展开。

前向:每一步独立地把 token 变成 [MASK] t = 0 (原句) The cat sat on mat t = T/3 (β̄≈0.3) The [M] sat on [M] t = T (β̄→1) [M] [M] [M] [M] [M] 关键性质 • 每个位置独立翻硬币 • 概率 β̄ₜ 变 [MASK] • 概率 1-β̄ₜ 保留 • [MASK] 一旦出现就不再变 • → 闭式 q(xₜ|x₀) • 终点:全 [MASK] (对应 DDPM 终点:纯高斯)

四、反向过程:模型在干什么?

有了前向的闭式 $q(x_t \mid x_0)$,反向就好定义了:给定带 [MASK] 的 $x_t$,对每个 [MASK] 位置预测它的原 token。

形式化:设 $f_\theta(x_t, t)$ 是一个 Transformer(通常就是 BERT-style 双向 encoder),输出对每个位置上的词表分布 $p_\theta(\tilde x^{(i)} \mid x_t)$。我们希望:

$$p_\theta(\tilde x^{(i)} \mid x_t) \approx q(x_0^{(i)} \mid x_t^{(i)} = \texttt{[MASK]})$$

注意几个微妙之处:

  • 只对 [MASK] 位置预测——非 [MASK] 位置 ground-truth 已经摆在眼前,没什么好预测的。这点和 GPT 完全不一样:GPT 在训练时对每个 token 都要算 next-token loss;masked diffusion 只对被 mask 的那部分位置算 loss。
  • 反向是并行的:所有 [MASK] 位置同时预测,不像 autoregressive 一个一个吐。这是 diffusion LLM 比 GPT 在 inference latency 上有优势的源头。设序列长 $L$、扩散步数 $T$,autoregressive 推理是 $L$ 步串行;diffusion 是 $T$ 步并行,每步是 $O(L^2)$ 的 attention。只要 $T \ll L$,就能加速。
  • 每一步反向只揭开一部分 [MASK],剩下的留给下一步——下一节展开。
  • 反向过程不需要时间反向的 transition matrix:因为 absorbing 是单向的(只往 [MASK] 跳),所以反向天然就是 "[MASK] → 词表里某个真 token",这步直接由模型给。不用像 D3PM 那样显式算 $q(x_{t-1}\mid x_t, x_0)$ 的复杂形式。

Vizuara L14 chunk #179 用了一个非常 hands-on 的比喻:

"When we start rotating the fluid slowly, we want to predict how much noise is added at each step. So that during denoising, it will help us recover the original state."

把"流体被搅拌"换成"token 被遮",是同一回事:模型学会"识别每一步加了多少噪声、并把它撤掉"。在 masked diffusion 里,"撤掉噪声" = "对每个 [MASK] 位置预测原 token 分布"。

五、训练目标:BERT 的「变速率」版本

讲师在 CMU L12 后半段(以及 Vizuara L13–L14)讲了训练这件事。落到代码层面就两行:

  1. 采一个时间 $t \sim \mathcal{U}[0, 1]$;
  2. 按 $\bar\beta_t$ 的比例独立地 mask 输入序列;模型预测被 mask 位置的原 token;交叉熵 loss。

这种"先采一个噪声水平、再训练"的循环和 DDPM 结构完全一致,唯一变化是把"高斯噪声 $\epsilon$"换成了"二项 mask"。Vizuara L12(chunk #163)反复强调:扩散模型的三件套——前向加噪、噪声预测、反向去噪——在文本上和图像上是一一映射的。区别只在噪声的形态。

具体损失(连续时间形式,遵循 MDLM 等近期工作):

$$\mathcal{L}_{\text{MDLM}}(\theta) = \mathbb{E}_{t,x_0,x_t}\!\left[ \frac{1}{\bar\beta_t}\sum_{i: x_t^{(i)}=\texttt{[M]}} -\log p_\theta\!\big(x_0^{(i)} \mid x_t\big)\right]$$

关于权重 $1/\bar\beta_t$
Why:被 mask 位置的期望数量正比于 $\bar\beta_t$。除以 $\bar\beta_t$ 就把"不同 $t$ 下的样本量差异"抵消掉了——所有 $t$ 对总 loss 的贡献变成同量级,避免大 $t$(几乎全 mask)压住小 $t$(基本没 mask)的梯度。这是 MDLM/SUBS 那类工作的核心调度技巧之一。

5.1 这和 BERT 到底有什么区别?

表面看,masked diffusion 的训练目标 = 「随机 mask 一部分 token,预测被 mask 的位置」——这就是 BERT 的预训练任务。讲师对此非常自觉,专门点出来:核心不同在掩码率怎么采。

维度 BERT (Devlin et al. 2018) Masked Diffusion (MDLM 2024)
掩码率 固定 15% $\bar\beta_t$,$t\sim\mathcal{U}[0,1]$ 随机采,等价于 0%–100% 全覆盖
推理用法 单步:一次性把所有 [MASK] 填回去 → 表示学习 迭代:从全 [MASK] 开始,一步揭一小撮,直到全部还原 → 生成
能不能从零生成? 否——BERT 没见过"95% mask"的样本,全 [MASK] 输入会崩 能——见过 1%–99% 各种 mask 率
理论基础 denoising autoencoder 直觉 absorbing-state discrete diffusion 的 ELBO
💡 一句话总结:BERT 是 masked diffusion 在固定噪声水平上的特例。把 BERT 的 15% 推广到 $t\sim\mathcal{U}[0,1]$ 全覆盖,再加迭代采样,就拿到了一个能生成的 diffusion LM。
BERT:一次性还原(无法生成) Masked Diffusion:迭代还原(能生成) 输入 (15% mask) The [M] sat on mat → 一步还原 The cat sat on mat [M] [M] [M] [M] [M] → ?? ?? ?? ?? ?? 没见过 100% mask,崩 [M] [M] [M] [M] [M] → The [M] [M] on [M] → The cat [M] on mat → The cat sat on mat 关键差别 • BERT:训练 mask 率固定 15%;推理一次性预测;适合表示学习,无法从零生成。 • Masked Diffusion:训练 mask 率均匀采 0%–100%;推理迭代揭开一部分。 • 「同一个 BERT 网络架构,换训练 schedule 和推理 schedule,就能生成」——这是 MDLM 给的 punchline。 参考:Sahoo et al. "Simple and Effective Masked Diffusion Language Models", NeurIPS 2024.

六、迭代采样:怎么从全 [MASK] 一步步揭开?

训练完,给定一个学得不错的 $p_\theta(\tilde x^{(i)} \mid x_t)$,怎么用它生成?讲师在 CMU L12 后半段以及 Vizuara L13–L17 都铺过这一段。模板如下:

采样算法骨架
  1. 初始化:$x_T$ = 整条 [MASK] 序列;选定步数 $T$(典型 $T=128$ 或 $256$)。
  2. 对 $t = T, T-1, \dots, 1$:
    1. 前向一次网络 $f_\theta(x_t, t)$,得到每个位置上的词表分布;
    2. 计算"应该剩多少 [MASK]":$N_{t-1} = \lceil \bar\beta_{t-1} \cdot L\rceil$,$L$ 是序列长度;
    3. 当前 [MASK] 数减去 $N_{t-1}$ = 这一步要揭开的位置数;
    4. 按某种策略(最简单:随机;更好:confidence top-K)挑出要揭开的位置;
    5. 对挑中的位置:从对应 token 分布抽样填回;其他 [MASK] 位置原样保留。
  3. $t = 0$:所有位置都已揭开,输出 $x_0$。
🛠️ "揭多少"是个超参——和 DDPM 的 $\beta_t$ schedule 同等地位。线性、余弦、log-linear 都有人用。MDLM 论文里建议 log-linear 类的,让早期(高 $t$)揭得快、后期(接近 $x_0$)揭得慢。

6.1 为什么不是一步搞定?

理论上 $f_\theta$ 已经能给每个 [MASK] 位置一个分布,确实可以一次性把所有 [MASK] 都抽掉、得到一个 $x_0$ 候选。但这样做质量糟糕,原因:

  • 每个位置的分布是边缘分布 $p_\theta(\tilde x^{(i)} \mid x_t)$,不是联合分布。独立抽样把 token 之间的条件依赖完全丢了。结果就是各位置看起来都"局部合理",但拼在一起不通顺("the the the envelope" 式的 bug,对应讲师在 chunk #1559 给同学指出的那种噪声)。
  • 迭代采样的精髓在于:先填高置信度的几个位置,再让后面的位置 condition 在这些已填上的 token 上。每步揭开一小撮 → 联合分布被"分块"展开。

6.2 选 token 的策略:随机 vs confidence vs entropy

  • Random:等概率挑要揭的位置。最简单,最差。
  • Confidence top-K(MaskGIT 2022 起就这么干):挑模型最确信(max softmax 最大)的若干位置揭开。
  • Lowest entropy:用预测分布的 entropy 排序,挑最低 entropy 的揭开。
⚠️ 训练-推理 gap:训练时模型见的"已揭开"位置 token 一定是真实原 token(来自 $x_0$);推理时已揭开位置是模型自己抽样的 token,可能是错的。Errors compound → 后期步骤都在错位置 condition 上预测。这是和 GPT 的 teacher-forcing 问题完全同类的暴露偏差,MDLM 等工作有专门的 fix(如 carry-over unmask、self-conditioning)。

七、整段拉通:训练-推理流程对照

把训练和推理放在一起对比,可以看到一个非常对称的图——这两边其实都是同一个网络 $f_\theta$,只是用法不同:训练时给"半遮的真实数据"、要求重建;推理时给"全遮"、要求自下而上生成。理解这个对称是看懂任何 diffusion LM 代码库的钥匙。

训练 推理 每个 mini-batch: 1. 采 t ~ U[0, 1] 2. 每个 token 独立翻硬币, 以 β̄ₜ 概率改为 [MASK] 3. 网络 f_θ(x_t, t) 前向 4. 对 [MASK] 位置算 CE(p_θ, x₀) 5. 反传,更新 θ ≈ BERT,但 mask 率变化 从 x_T = 全 [MASK] 出发: for t = T, T-1, ..., 1: a. 前向 f_θ(x_t, t) b. 算下一步该剩多少 [MASK] c. 按 confidence top-K 选 要揭的位置 d. 从预测分布抽样填回 e. 其余 [MASK] 留给下一步 → 全部揭开后返回 x_0

八、PyTorch 实现骨架

下面是一个能跑的 MDLM-style 训练 + 采样 skeleton,对应 Vizuara L16 在 Colab Pro/H100 上演示的代码逻辑(chunk #237、#269)。为聚焦概念,省掉 dataloader、Transformer 内部、lr scheduler 等细节。

import torch
import torch.nn as nn
import torch.nn.functional as F

MASK_ID = 50257  # 假设 GPT-2 词表末尾 +1 留给 [MASK]
VOCAB_SIZE = MASK_ID + 1

class MaskedDiffusionLM(nn.Module):
    """BERT-style Transformer encoder + time embedding"""
    def __init__(self, vocab_size=VOCAB_SIZE, d_model=512, n_layers=12, n_heads=8):
        super().__init__()
        self.tok_emb = nn.Embedding(vocab_size, d_model)
        self.time_emb = nn.Linear(1, d_model)               # 把 t∈[0,1] 嵌进 d_model
        self.encoder = nn.TransformerEncoder(
            nn.TransformerEncoderLayer(d_model, n_heads, batch_first=True),
            n_layers)
        self.head = nn.Linear(d_model, vocab_size)

    def forward(self, x_t, t):
        # x_t: (B, L) int64; t: (B,) float in [0,1]
        h = self.tok_emb(x_t) + self.time_emb(t[:, None, None].expand(-1, x_t.size(1), -1))
        h = self.encoder(h)
        return self.head(h)                                 # logits: (B, L, V)


# -------- 训练 step --------
def train_step(model, x0, optim):
    B, L = x0.shape
    t = torch.rand(B, device=x0.device)                     # t ~ U[0,1]
    beta_bar = t                                            # 简单起见:linear schedule
    mask = torch.rand(B, L, device=x0.device) < beta_bar[:, None]
    x_t = torch.where(mask, torch.full_like(x0, MASK_ID), x0)

    logits = model(x_t, t)                                  # (B, L, V)
    # 只对被 mask 的位置算 CE,并按 1/β̄ 加权(见正文 step 关于权重的解释)
    ce = F.cross_entropy(
        logits.transpose(1, 2), x0, reduction='none')       # (B, L)
    loss = (ce * mask.float()).sum(-1) / beta_bar.clamp(min=1e-5)
    loss = loss.mean()

    optim.zero_grad(); loss.backward(); optim.step()
    return loss.item()


# -------- 采样 --------
@torch.no_grad()
def sample(model, L=128, T=128, device='cuda', strategy='confidence'):
    """从全 [MASK] 出发,迭代揭开。"""
    x = torch.full((1, L), MASK_ID, device=device, dtype=torch.long)
    for step in range(T, 0, -1):
        t_cur = torch.tensor([step / T], device=device)
        beta_bar_prev = (step - 1) / T
        # 目标:下一步保留 beta_bar_prev * L 个 [MASK]
        target_mask_count = int(round(beta_bar_prev * L))
        cur_mask = (x == MASK_ID)
        to_unmask = cur_mask.sum().item() - target_mask_count
        if to_unmask <= 0:
            continue

        logits = model(x, t_cur)                            # (1, L, V)
        probs = logits.softmax(-1)
        # 只考虑当前 [MASK] 位置
        conf, pred = probs.max(-1)                          # (1, L)
        conf = conf.masked_fill(~cur_mask, -1.0)            # 非 mask 不参与
        # 挑置信度最高的 to_unmask 个位置揭开
        topk = conf[0].topk(to_unmask).indices
        x[0, topk] = pred[0, topk]
    return x


# -------- 用法 --------
# model = MaskedDiffusionLM().cuda()
# optim = torch.optim.AdamW(model.parameters(), lr=3e-4)
# for batch in loader:           # batch: (B, L) of token ids
#     train_step(model, batch.cuda(), optim)
# generated = sample(model, L=128, T=128)
🛠️ Vizuara 的实战 caveat(chunk #237、#269 原话压缩):
• 在 Google Colab Pro 上跑,"H100 GPU is much faster" 比 A100 明显快。
• Diffusion LM 比同规模 GPT 慢——讲师建议至少跑 200,000 iterations 才能看到像样的 sample,比常见的 GPT-2 from-scratch 教学 demo 高出一个数量级。
• 推理时的 "neon style gif" 可视化是从 GPT-2 from-scratch 项目搬过来的,本身和 diffusion 无关,但能直观看到"全 [MASK] → 真实句子"逐步揭开的过程。

九、MDLM 是这一支线的引爆点

讲师在 CMU L12 中把 absorbing diffusion 这条线的"现代化重启"归功给一组 2024 年集中爆发的工作。其中 MDLM(Sahoo et al., NeurIPS 2024)地位最特殊。

🟡 教材外补充:MDLM 到底做了什么?
  • 题目"Simple and Effective"不是宣传——它的训练目标和我们上面写的 PyTorch skeleton 几乎一模一样,没有花哨的 trick。
  • 关键工程改进:(1) continuous-time ELBO 取代 D3PM 的离散时间步;(2) 上面 $1/\bar\beta_t$ 那个权重的精确推导;(3) carry-over unmasking——已揭开 token 在后续步骤永不再被 re-mask;(4) zero-masking-rate 训练样本剔除等数值技巧。
  • 结果:在 LM1B、OpenWebText 上的 zero-shot perplexity 首次超过同 size 的 GPT-2,下游 LAMBADA / HellaSwag 也与自回归基线打平。这是讲师反复强调的"breakthrough moment"——discrete diffusion 终于在 scale 上证明自己。
  • 同期工作还有 RDM(Reparameterized Discrete Diffusion,He et al. 2023)、SUBS(Subsequence diffusion)、Inception Labs 的 Mercury(商业 diffusion LLM)等。

十、第二种范式:SEDD 与 Concrete Score

到这里为止我们走的是 absorbing 路线——靠 [MASK] 这个吸收态简化分析。还有另一条理论路线,由 Aaron Lou, Chenlin Meng, Stefano Ermon (ICML 2024 Best Paper) 的 SEDD(Score Entropy Discrete Diffusion)代表。SEDD 不依赖 [MASK],而是把 score matching 直接搬到离散空间。

10.1 离散里没有"梯度",怎么定义 score?

连续扩散里的 score 是 $\nabla_x \log p_t(x)$——分布的梯度。在离散空间没有梯度可言(你怎么"对 token 求导"?)。SEDD 给的替代叫 concrete score 或 ratio score:

$$s_\theta(x, y, t) \;\approx\; \frac{p_t(y)}{p_t(x)}$$

解读:对每一对状态 $(x, y)$(通常 $y$ 是 $x$ 改一个 token 得到的近邻),模型预测它们的概率比。这个比值在连续极限下就退回 score 的方向导数。

10.2 训练目标:Score Entropy Loss

SEDD 给的训练目标叫 score entropy(区别于连续空间的 score matching 的 Hyvärinen 损失):

$$\mathcal{L}_{\text{SE}}(\theta) = \mathbb{E}_{t,\,x\sim p_t}\,\sum_{y \neq x} w_t(x,y)\left[ s_\theta(x,y,t) - \frac{p_t(y)}{p_t(x)}\log s_\theta(x,y,t) + \text{const}\right]$$

其中 $w_t(x,y)$ 是邻接图上的转移率(通常只在改一个 token 的邻居上非零)。不用知道 $p_t$ 的归一化常数——这点和连续 score matching 一致,是它能 scale 的关键。

SEDD:在状态图上估计概率比 p_t(y) / p_t(x) x "The cat sat" y₁ "The cat ran" y₂ "A cat sat" y₃ "The dog sat" s_θ(x,y₁,t) s_θ(x,y₂,t) s_θ(x,y₃,t) 关键点 • 每条边 = 改一个 token 的近邻 • 模型 s_θ 输出概率比,不输出概率本身 • 训练目标 = score entropy (离散版的 score matching) • 不依赖 [MASK] • 推广到任意离散 noising 过程 Lou et al., ICML 2024 Best Paper

10.3 概念直觉:什么叫"概率比"?

用 "I love cat" 的玩具例子回想一下。设当前状态 $x$ = "I love cat",三个邻居:

  • $y_1$ = "I love dog"(把 cat 换成 dog)
  • $y_2$ = "You love cat"(把 I 换成 You)
  • $y_3$ = "I hate cat"(把 love 换成 hate)

concrete score $s_\theta(x, y_i, t)$ 告诉你"在时间 $t$,从 $x$ 跳到 $y_i$ 的相对概率有多大"。如果 $y_1$ 出现得比 $x$ 频繁(在 $p_t$ 下),那 $s_\theta(x, y_1, t) > 1$;反过来则 $< 1$。这个比值就是离散版的"梯度方向"——它告诉模型应该往哪个邻居走能"上坡",逼近真实数据分布的局部峰值。

SEDD 训练完成后,反向 sampling 不是"填 [MASK]",而是在状态图上做马尔可夫跳跃:从一个状态 $x$ 出发,按 $s_\theta(x, y, t)$ 给的相对概率挑邻居 $y$,跳过去,再从 $y$ 继续。这是和 absorbing 路线截然不同的 sampling 方式。

10.4 SEDD vs MDLM:选哪个?

维度 MDLM (absorbing) SEDD (general)
前向噪声 只往 [MASK] 跳 任意 transition graph
训练目标 cross-entropy(≈ BERT) score entropy(ratio matching)
实现难度 极简,重用 BERT 训练栈 需要在邻接图上枚举
理论一致性 absorbing 是特例 更通用的离散 score matching 框架
实证性能 已经追上 GPT-2 perplexity 和 MDLM 同档,部分指标更好
💡 从业者的选择:当前 production 里大多数 diffusion LLM(Mercury、LLaDA、Dream-7B 等)走的都是 absorbing / MDLM 路线——因为它和 BERT/GPT 训练栈兼容、调度简单。SEDD 更像理论旗手,告诉你"absorbing 不是唯一选择"。

十一、离散扩散 vs autoregressive:到底强在哪?

Vizuara 在 L12 chunk #163 把诉求说得很直接:

"We want to predict this not with an autoregressive model but we want to use a diffusion model for getting this probability distribution of the predicted sentences."

那"为什么"非要换掉 autoregressive?站在 2024-2026 的视角,社区给出的卖点大致是:

  1. 并行解码——一步预测所有 [MASK],固定步数 $T$ 内出 token,理论上和 batch decoding 一样快,而不像 GPT 必须 $L$ 步串行。Inception Labs 的 Mercury 商业 API 演示里,diffusion LM 对长 prompt 的 wall-clock latency 可以做到比 GPT-4 快几倍——背后就是这件事。
  2. 双向 context——填空时看得到左右两边,和 BERT 一样擅长 cloze、infilling、结构化生成(受控生成、约束生成天然友好)。GPT 想做填空式生成必须用 prefix LM 或者 fim 这类后门技巧;diffusion LM 天生就是填空模型。
  3. 非因果场景——蛋白质设计、代码补全(中间往两头填)、多模态 token 重排,这些任务"顺序"本身就不是从左到右的因果。autoregressive 强行把它们顺序化要付出建模代价;diffusion 不需要。
  4. 固定步数延迟——长文本生成的 wall-clock 不再随长度线性增长。生成 200 个 token 和生成 2000 个 token 用相同步数 $T$,只是每步的 attention 矩阵更大。
  5. 更适合控制和编辑——给定一段已有文本,把不想要的位置改成 [MASK],剩下原样,喂进模型重新采样——这就是局部编辑。autoregressive 做这件事得 prompt engineering + sample-and-filter。
⚠️ 不能忽视的代价:和同样参数量的 autoregressive 模型相比,diffusion LM 训练 FLOPs 高很多——每个 batch 都要做完整的 $L$-token forward,且需要采几十上百个不同 $t$ 才能稳定优化。Vizuara 反复提"H100 + 200k iterations" 不是夸张,是必需。另一个常见坑:perplexity 这个指标本身对 diffusion LM 不友好——它定义在 autoregressive 的 chain-rule 分解上,而 diffusion 是 ELBO 下界,两者不严格可比。MDLM 论文里报的 perplexity 用的是 ELBO 估计的 upper bound,要在脑子里默记这个 caveat。
🟡 教材外补充:到 2025 年的最新进展
  • LLaDA (Renmin Univ. + AI21, 2025):把 absorbing diffusion scale 到 8B 参数,在 MMLU、GSM8K 上和同 size 的 Llama 2 7B 持平甚至略胜,证明 masked diffusion 可以走完整的 instruction-tuning 流程。
  • Dream-7B (HKU, 2025):另一个 8B 量级 diffusion LM,重点在 RLHF on diffusion——把 reward 信号传回 absorbing process 的非平凡问题。
  • Diffusion-of-thought:把 chain-of-thought 推理过程当作可以被"先想后说"的 diffusion 中间状态,让模型在 latent 里"反复修改"思考再输出。
  • 这条线和下下章 Diffusion + RLHF 紧密相关。

十二、回到讲师反复强调的「diffusion 三视角」在离散里的对应

CMU L12 chunk #1556–#1557 做了一个非常有用的整理:连续扩散有三种等价视角(DDPM / score-based / flow matching),它们在离散世界的对应是什么?

视角 连续 离散
Denoising DDPM:学 $\epsilon_\theta$ 或 $x_0$ 预测 MDLM:学 $p_\theta(x_0\mid x_t)$
Score-based 学 $\nabla_x \log p_t(x)$ SEDD:学 concrete score $p_t(y)/p_t(x)$
Flow matching 学 velocity field $v_\theta$ Discrete Flow Matching(Gat et al. 2024):在 categorical simplex 上学 velocity

讲师的原话(chunk #1557):"can we have a mapping from the formulations in continuous diffusion to discrete diffusion. This is the question that we're mainly going to be answering today."——本章和上一章合起来就是这个问题的回答。

十三、源讲座片段

📺 CMU 10799 S26 Lecture 12(8:09 处)—— 讲师让全班看一条被加噪的 Karpathy tweet,逐项识别 "random emojis / wrong spellings / out-of-place tokens",从而过渡到"用 [MASK] 当噪声"。

十四、本章要记住的(讲师亲口给的核心)

  1. 离散扩散有两条主路线:uniform transition(每个 token 以 $\beta/V$ 概率乱跳)和 absorbing transition(只能往 [MASK] 跳)。Masked Diffusion 走的是后者。CMU 用 "I love cat" 玩具词表 + $Q$ 矩阵展开第一条;本章主体讲第二条。
  2. $q(x_t\mid x_0)$ 是 absorbing 路线最甜的礼物:每个位置独立翻一枚 $\bar\beta_t$ 概率的硬币,直接出 $x_t$。一步采样 = 训练效率。
  3. Masked Diffusion ≈ "变速率 + 迭代用法"的 BERT。Mask 率从 BERT 的固定 15% 推广到 $t\sim\mathcal{U}[0,1]$ 全覆盖;推理时从全 [MASK] 起步、迭代揭开。
  4. 采样是 confidence-driven 的:每步只揭高置信度的几个位置,让剩下的位置 condition 在已揭开的真实 token 上。一次性全揭开会拼出"the the the envelope"那种 bug。
  5. MDLM (Sahoo et al. NeurIPS 2024) 是引爆点:absorbing diffusion + 连续时间 ELBO + carry-over unmask,让 discrete diffusion LM 首次在 perplexity 上追上同规模 GPT-2。讲师在 L12 反复 cite。
  6. SEDD (Lou et al. ICML 2024 Best Paper) 是另一条理论旗手:学 concrete score $p_t(y)/p_t(x)$,把 score matching 推广到离散邻接图,不依赖 [MASK],但工程更重。
  7. 三视角统一:DDPM ↔ MDLM、score-based ↔ SEDD、flow matching ↔ Discrete Flow Matching。这正是 CMU L12 想给学生留下的"地图"。下一章我们把这张地图落地成一份完整的 Diffusion LLM from scratch 代码。