Masked Diffusion 与 SEDD
MASK 作为「噪声」——和 BERT 的关系。
20. Masked Diffusion 与 SEDD
主源:CMU 10799 S26 Lecture 12(讲师 Hao Zhang,离散扩散与 masked diffusion 主线);副源:Vizuara《Diffusion LLM》Lecture 12-17(Dr. Raj Dandekar,从代码层面拆 noising / noise-predict / denoising 三步)。
📌 TL;DR
Masked Diffusion 用「把 token 遮掉」当噪声。前向过程:每一步以概率 $\beta_t$ 独立地把每个尚未被遮的 token 替换成特殊符号 [MASK];走到底,整条序列全是 [MASK]。这个过程对应离散扩散里一个特殊的 absorbing transition——一旦掉进 [MASK] 状态就再也出不来。
它的好处是 $q(x_t \mid x_0)$ 有闭式解:每个位置独立地以 $\bar\beta_t$ 的概率变成 [MASK]、以 $1-\bar\beta_t$ 的概率保留原 token。训练损失就是带变化掩码率的 BERT 式交叉熵——模型见过从 1% 到 99% 各种被遮比例的句子,学会在任意噪声水平上重建。
采样是迭代的:从一条全 [MASK] 序列起步,每一步模型并行预测所有 [MASK] 位置的分布,抽样揭开一部分,剩下的留给下一步。这本质上就是 BERT,但是迭代地用。
本章在最后还会铺一层 SEDD(Score Entropy Discrete Diffusion):Aaron Lou 等人 2024 年提出的「concrete score / ratio matching」目标,把 score matching 推广到离散空间,无需依赖高斯假设,是当前离散扩散在非 absorbing 路线上最有理论分量的工作。
一、为什么这一章要单独讲离散扩散?
到目前为止,本教材的全部内容都是连续空间的扩散——DDPM、score-based SDE、Flow Matching、整族都是同一回事,只不过参数化和训练目标不同。CMU L12 开场,讲师把这一点摆得很清楚:
那为什么非要把扩散推广到离散数据?讲师当场列了三类应用,每一类都不是"image 锦上添花"的事,而是天然就活在离散世界里:
- 语言(text)——讲师半开玩笑地引用 Anthropic 的人在 ICML 2024 跟他说:"anything that cannot be expressed or compressed into text is uninteresting information, and image generation is just not on the path to AGI"。不管你同不同意,文本就是当下最重要的离散模态,整个 GPT、Claude、Gemini 都活在 token 这种离散对象上。
- 分子与 DNA 序列——SMILES 串、氨基酸、碱基对,全是离散字符。蛋白质设计、药物分子生成、基因序列编辑,这些 high-stakes 应用没法绕开离散建模。
- 像素本身也是离散的——你存图像不是真存在连续空间里,是存在 0-255 的 quantized pixel space。每个 channel 是个 8-bit 整数。讲师专门把这点点出来:"technically image should also be represented as discrete data"。换句话说,连续扩散是我们为了好做数学硬把离散数据扔进连续空间,反向操作(在原本的离散空间上做扩散)反而更"诚实"。
更关键的一点是:autoregressive 模型已经把语言建模这件事卷到了天花板,GPT 系列、Llama、Qwen 这些模型的训练栈、推理优化、社区生态已经成熟。Diffusion LM 要想杀进来,必须给出 autoregressive 给不了的东西——并行解码、双向 context、可控生成。本章后面会展开这点。
二、把噪声搬进文本空间:两个"显然"但失败的尝试
讲师在 CMU L12 上玩了一个互动游戏:让全班同学猜,"文本里的噪声"应该长什么样。这是 chunk #1558–#1560 完整复现的课堂讨论,值得逐条记下来——它解释了为什么我们最后会归到「masking」这一种方案。
2.1 方案 A:在 embedding 空间做连续扩散 + 最近邻
第一位同学的提议(chunk #1554):
即:text 先经过 embedding 变成连续向量 → 在连续空间里做正常 DDPM → 反向采样得到一个向量 → 找最近的真实 token embedding。
讲师评价:"this is a good approach",并补了一句重要的历史脚注:
2.2 方案 B:用随机 token 当噪声(Uniform Transition)
第二位同学(chunk #1558):"Incorrect, like just random things... wrong tokens"。讲师让全班看一条 Karpathy 的 tweet 被"加噪"的版本,识别噪声的特征:
- "I see random emojis in between and random characters"——随机 emoji
- "Spellings are wrong"——拼写错误
- "the the the envelope"——重复 token / 错位的 6、7 出现
形式化下来:给定一个 token,以 $\beta$ 的概率把它替换成词表里任意一个随机 token(包括自己)。讲师用一个非常小的玩具词表展开了这一过程,下面我们完整复现 chunk #1562–#1564 的白板推导。
2.3 玩具词表:vocab = {I, love, cat}
设词表只有 3 个 token:I、love、cat。句子 "I love cat" 表示成三个 one-hot 向量:
$$x_0^{(1)} = [1,0,0],\quad x_0^{(2)} = [0,1,0],\quad x_0^{(3)} = [0,0,1]$$
定义转移矩阵 $Q$:以 $\beta$ 的概率「重新采样」(uniform 选一个 token,允许采到自己),其余情况保持不动。对 3-token 词表:
$$Q = \begin{pmatrix} 1-\tfrac{2\beta}{3} & \tfrac{\beta}{3} & \tfrac{\beta}{3} \\ \tfrac{\beta}{3} & 1-\tfrac{2\beta}{3} & \tfrac{\beta}{3} \\ \tfrac{\beta}{3} & \tfrac{\beta}{3} & 1-\tfrac{2\beta}{3} \end{pmatrix}$$
• 连续:$q(x_t\mid x_{t-1}) = \mathcal{N}(\cdot)$,$\bar\alpha_t = \prod_s (1-\beta_s)$
• 离散:$q(x_t\mid x_{t-1}) = \mathrm{Cat}(x_{t-1} Q_t)$,$\bar Q_t = Q_1 Q_2 \cdots Q_t$
两边的"复合"都封闭,所以 $q(x_t\mid x_0)$ 也都能一步算出来。
2.4 Uniform Transition 为什么"够用但不够好"?
讲师立刻被一位同学追问(chunk #1565):"when we actually do this for real sentences with real vocabulary, it's not necessary that the noise sentence is actually..."——意思是:如果换成几万个 token 的真实词表,随机抽中一个语义上"恰好通顺"的 token 也是有可能的。讲师承认:"yes, that's right. But like just think about how many tokens are available out there—the chances of that is non-zero but also not high"。
这条 uniform transition 数学上完全合法、能跑、能拿到闭式 $q(x_t\mid x_0)$(D3PM 原论文里就有),但实践里有两个痛点:
- "噪声"长得像真句子:被加噪的 token 是一个真实词,模型很难判断"这个位置到底被改过没有"。如果一个 token 没被改,那它是 ground-truth;如果被改了,模型要试着重建。两种情况外观一样,模型只能靠"概率分布学得有多准"间接区分,监督信号被稀释。
- 没有显式的「不知道」状态:去噪时模型必须既预测原 token,又判断当前位置该不该改——两个任务耦合在同一个 softmax 输出里,训练难度高。
- 每一步对所有位置等概率扰动,但语言里位置的"重要性"差别极大(停用词 vs 关键名词),uniform 不利用任何先验。
这就引出本章主角:用一个独立于词表的特殊符号 [MASK] 当吸收态,把"被改过"显式 encode 在 token 类型本身上。
三、Masked Diffusion 正式登场:用 [MASK] 当噪声
把上一节的 transition 改一改:
每个 token,以概率 $\beta_t$ 被替换成特殊符号[MASK];否则保留原样。[MASK]是个"吸收态"——一旦掉进去就永远是[MASK],不会再变回来或变成别的 token。
这条转移叫 absorbing transition,对应的转移矩阵在词表上多加一行一列([MASK] 作为第 $K+1$ 个状态):
$$Q^{\text{abs}}_t = \begin{pmatrix} 1-\beta_t & 0 & \cdots & 0 & \beta_t \\ 0 & 1-\beta_t & \cdots & 0 & \beta_t \\ \vdots & & \ddots & & \vdots \\ 0 & 0 & \cdots & 1-\beta_t & \beta_t \\ 0 & 0 & \cdots & 0 & 1 \end{pmatrix}$$
最后一行最后一列是 1,说明 [MASK] 状态只会转到自己——这就是"吸收"的形式化。
3.1 闭式的 $q(x_t \mid x_0)$
由于每个 token 独立、且 absorbing transition 极简,把 $Q^{\text{abs}}_1 \cdots Q^{\text{abs}}_t$ 乘开得到非常干净的结果。令 $\bar\beta_t = 1 - \prod_{s=1}^{t}(1-\beta_s)$,则:
$$q(x_t^{(i)} \mid x_0^{(i)}) = \begin{cases} 1-\bar\beta_t & \text{position $i$ 保留原 token } x_0^{(i)} \\ \bar\beta_t & \text{position $i$ 变成 \texttt{[MASK]}} \end{cases}$$
[MASK],否则保留。和 DDPM 里 $q(x_t \mid x_0) = \mathcal{N}(\sqrt{\bar\alpha_t} x_0, (1-\bar\alpha_t)I)$ 一步采样的精神完全一致——闭式 marginal 让训练效率爆炸。
3.2 边界条件
- $t=0$:$\bar\beta_0 = 0$,序列原封不动。
- $t=T$:$\bar\beta_T \to 1$,整条序列变成全
[MASK]。和 DDPM 的"终点是纯高斯"对应——这里终点是"纯空白"。所有信息都被吸收掉了,但序列长度仍然保留——这是离散扩散非常微妙的一点:长度是已知的、不参与扩散,只有 token 内容参与。这也是为什么 diffusion LM 通常需要先决定生成多长再开始 sampling。
3.3 为什么用 absorbing 而不是 uniform?理论与工程双赢
把 absorbing transition 和 uniform transition 摆在一起对比,会发现 absorbing 的几个独门优势:
- 位置二分清楚:每个位置要么是
[MASK](需要预测)要么是已知 token(条件输入)。模型角色没有歧义。 - 已揭开的 token 永不再被破坏:反向过程是 "
[MASK]→ 真 token" 的单向流动,可以一步步累加置信度,不会"今天揭开明天又被打回原形"。 - 反向过程的 ELBO 项有闭式:在 absorbing 下,KL 散度退化成对每个
[MASK]位置的交叉熵,不需要对整个词表归一化求 softmax 之外的复杂项。 - 工程上等于"BERT + 时间嵌入":模型架构、tokenizer、训练栈基本无变化。社区里"用 RoBERTa 权重初始化 MDLM"是常见 trick。
这些性质让 absorbing 路线成为当下 diffusion LM 工业实践的默认选择。但要注意:absorbing 是个受限的设计,丢掉了"token 之间互相转化"的灵活性。SEDD 那条路就是为了把这种灵活性找回来——下文第十节再展开。
四、反向过程:模型在干什么?
有了前向的闭式 $q(x_t \mid x_0)$,反向就好定义了:给定带 [MASK] 的 $x_t$,对每个 [MASK] 位置预测它的原 token。
形式化:设 $f_\theta(x_t, t)$ 是一个 Transformer(通常就是 BERT-style 双向 encoder),输出对每个位置上的词表分布 $p_\theta(\tilde x^{(i)} \mid x_t)$。我们希望:
$$p_\theta(\tilde x^{(i)} \mid x_t) \approx q(x_0^{(i)} \mid x_t^{(i)} = \texttt{[MASK]})$$
注意几个微妙之处:
- 只对
[MASK]位置预测——非[MASK]位置 ground-truth 已经摆在眼前,没什么好预测的。这点和 GPT 完全不一样:GPT 在训练时对每个 token 都要算 next-token loss;masked diffusion 只对被 mask 的那部分位置算 loss。 - 反向是并行的:所有
[MASK]位置同时预测,不像 autoregressive 一个一个吐。这是 diffusion LLM 比 GPT 在 inference latency 上有优势的源头。设序列长 $L$、扩散步数 $T$,autoregressive 推理是 $L$ 步串行;diffusion 是 $T$ 步并行,每步是 $O(L^2)$ 的 attention。只要 $T \ll L$,就能加速。 - 每一步反向只揭开一部分
[MASK],剩下的留给下一步——下一节展开。 - 反向过程不需要时间反向的 transition matrix:因为 absorbing 是单向的(只往
[MASK]跳),所以反向天然就是 "[MASK]→ 词表里某个真 token",这步直接由模型给。不用像 D3PM 那样显式算 $q(x_{t-1}\mid x_t, x_0)$ 的复杂形式。
Vizuara L14 chunk #179 用了一个非常 hands-on 的比喻:
把"流体被搅拌"换成"token 被遮",是同一回事:模型学会"识别每一步加了多少噪声、并把它撤掉"。在 masked diffusion 里,"撤掉噪声" = "对每个 [MASK] 位置预测原 token 分布"。
五、训练目标:BERT 的「变速率」版本
讲师在 CMU L12 后半段(以及 Vizuara L13–L14)讲了训练这件事。落到代码层面就两行:
- 采一个时间 $t \sim \mathcal{U}[0, 1]$;
- 按 $\bar\beta_t$ 的比例独立地 mask 输入序列;模型预测被 mask 位置的原 token;交叉熵 loss。
这种"先采一个噪声水平、再训练"的循环和 DDPM 结构完全一致,唯一变化是把"高斯噪声 $\epsilon$"换成了"二项 mask"。Vizuara L12(chunk #163)反复强调:扩散模型的三件套——前向加噪、噪声预测、反向去噪——在文本上和图像上是一一映射的。区别只在噪声的形态。
具体损失(连续时间形式,遵循 MDLM 等近期工作):
$$\mathcal{L}_{\text{MDLM}}(\theta) = \mathbb{E}_{t,x_0,x_t}\!\left[ \frac{1}{\bar\beta_t}\sum_{i: x_t^{(i)}=\texttt{[M]}} -\log p_\theta\!\big(x_0^{(i)} \mid x_t\big)\right]$$
Why:被 mask 位置的期望数量正比于 $\bar\beta_t$。除以 $\bar\beta_t$ 就把"不同 $t$ 下的样本量差异"抵消掉了——所有 $t$ 对总 loss 的贡献变成同量级,避免大 $t$(几乎全 mask)压住小 $t$(基本没 mask)的梯度。这是 MDLM/SUBS 那类工作的核心调度技巧之一。
5.1 这和 BERT 到底有什么区别?
表面看,masked diffusion 的训练目标 = 「随机 mask 一部分 token,预测被 mask 的位置」——这就是 BERT 的预训练任务。讲师对此非常自觉,专门点出来:核心不同在掩码率怎么采。
| 维度 | BERT (Devlin et al. 2018) | Masked Diffusion (MDLM 2024) |
|---|---|---|
| 掩码率 | 固定 15% | $\bar\beta_t$,$t\sim\mathcal{U}[0,1]$ 随机采,等价于 0%–100% 全覆盖 |
| 推理用法 | 单步:一次性把所有 [MASK] 填回去 → 表示学习 |
迭代:从全 [MASK] 开始,一步揭一小撮,直到全部还原 → 生成 |
| 能不能从零生成? | 否——BERT 没见过"95% mask"的样本,全 [MASK] 输入会崩 |
能——见过 1%–99% 各种 mask 率 |
| 理论基础 | denoising autoencoder 直觉 | absorbing-state discrete diffusion 的 ELBO |
六、迭代采样:怎么从全 [MASK] 一步步揭开?
训练完,给定一个学得不错的 $p_\theta(\tilde x^{(i)} \mid x_t)$,怎么用它生成?讲师在 CMU L12 后半段以及 Vizuara L13–L17 都铺过这一段。模板如下:
- 初始化:$x_T$ = 整条
[MASK]序列;选定步数 $T$(典型 $T=128$ 或 $256$)。 - 对 $t = T, T-1, \dots, 1$:
- 前向一次网络 $f_\theta(x_t, t)$,得到每个位置上的词表分布;
- 计算"应该剩多少
[MASK]":$N_{t-1} = \lceil \bar\beta_{t-1} \cdot L\rceil$,$L$ 是序列长度; - 当前
[MASK]数减去 $N_{t-1}$ = 这一步要揭开的位置数; - 按某种策略(最简单:随机;更好:confidence top-K)挑出要揭开的位置;
- 对挑中的位置:从对应 token 分布抽样填回;其他
[MASK]位置原样保留。
- $t = 0$:所有位置都已揭开,输出 $x_0$。
6.1 为什么不是一步搞定?
理论上 $f_\theta$ 已经能给每个 [MASK] 位置一个分布,确实可以一次性把所有 [MASK] 都抽掉、得到一个 $x_0$ 候选。但这样做质量糟糕,原因:
- 每个位置的分布是边缘分布 $p_\theta(\tilde x^{(i)} \mid x_t)$,不是联合分布。独立抽样把 token 之间的条件依赖完全丢了。结果就是各位置看起来都"局部合理",但拼在一起不通顺("the the the envelope" 式的 bug,对应讲师在 chunk #1559 给同学指出的那种噪声)。
- 迭代采样的精髓在于:先填高置信度的几个位置,再让后面的位置 condition 在这些已填上的 token 上。每步揭开一小撮 → 联合分布被"分块"展开。
6.2 选 token 的策略:随机 vs confidence vs entropy
- Random:等概率挑要揭的位置。最简单,最差。
- Confidence top-K(MaskGIT 2022 起就这么干):挑模型最确信(max softmax 最大)的若干位置揭开。
- Lowest entropy:用预测分布的 entropy 排序,挑最低 entropy 的揭开。
七、整段拉通:训练-推理流程对照
把训练和推理放在一起对比,可以看到一个非常对称的图——这两边其实都是同一个网络 $f_\theta$,只是用法不同:训练时给"半遮的真实数据"、要求重建;推理时给"全遮"、要求自下而上生成。理解这个对称是看懂任何 diffusion LM 代码库的钥匙。
八、PyTorch 实现骨架
下面是一个能跑的 MDLM-style 训练 + 采样 skeleton,对应 Vizuara L16 在 Colab Pro/H100 上演示的代码逻辑(chunk #237、#269)。为聚焦概念,省掉 dataloader、Transformer 内部、lr scheduler 等细节。
import torch
import torch.nn as nn
import torch.nn.functional as F
MASK_ID = 50257 # 假设 GPT-2 词表末尾 +1 留给 [MASK]
VOCAB_SIZE = MASK_ID + 1
class MaskedDiffusionLM(nn.Module):
"""BERT-style Transformer encoder + time embedding"""
def __init__(self, vocab_size=VOCAB_SIZE, d_model=512, n_layers=12, n_heads=8):
super().__init__()
self.tok_emb = nn.Embedding(vocab_size, d_model)
self.time_emb = nn.Linear(1, d_model) # 把 t∈[0,1] 嵌进 d_model
self.encoder = nn.TransformerEncoder(
nn.TransformerEncoderLayer(d_model, n_heads, batch_first=True),
n_layers)
self.head = nn.Linear(d_model, vocab_size)
def forward(self, x_t, t):
# x_t: (B, L) int64; t: (B,) float in [0,1]
h = self.tok_emb(x_t) + self.time_emb(t[:, None, None].expand(-1, x_t.size(1), -1))
h = self.encoder(h)
return self.head(h) # logits: (B, L, V)
# -------- 训练 step --------
def train_step(model, x0, optim):
B, L = x0.shape
t = torch.rand(B, device=x0.device) # t ~ U[0,1]
beta_bar = t # 简单起见:linear schedule
mask = torch.rand(B, L, device=x0.device) < beta_bar[:, None]
x_t = torch.where(mask, torch.full_like(x0, MASK_ID), x0)
logits = model(x_t, t) # (B, L, V)
# 只对被 mask 的位置算 CE,并按 1/β̄ 加权(见正文 step 关于权重的解释)
ce = F.cross_entropy(
logits.transpose(1, 2), x0, reduction='none') # (B, L)
loss = (ce * mask.float()).sum(-1) / beta_bar.clamp(min=1e-5)
loss = loss.mean()
optim.zero_grad(); loss.backward(); optim.step()
return loss.item()
# -------- 采样 --------
@torch.no_grad()
def sample(model, L=128, T=128, device='cuda', strategy='confidence'):
"""从全 [MASK] 出发,迭代揭开。"""
x = torch.full((1, L), MASK_ID, device=device, dtype=torch.long)
for step in range(T, 0, -1):
t_cur = torch.tensor([step / T], device=device)
beta_bar_prev = (step - 1) / T
# 目标:下一步保留 beta_bar_prev * L 个 [MASK]
target_mask_count = int(round(beta_bar_prev * L))
cur_mask = (x == MASK_ID)
to_unmask = cur_mask.sum().item() - target_mask_count
if to_unmask <= 0:
continue
logits = model(x, t_cur) # (1, L, V)
probs = logits.softmax(-1)
# 只考虑当前 [MASK] 位置
conf, pred = probs.max(-1) # (1, L)
conf = conf.masked_fill(~cur_mask, -1.0) # 非 mask 不参与
# 挑置信度最高的 to_unmask 个位置揭开
topk = conf[0].topk(to_unmask).indices
x[0, topk] = pred[0, topk]
return x
# -------- 用法 --------
# model = MaskedDiffusionLM().cuda()
# optim = torch.optim.AdamW(model.parameters(), lr=3e-4)
# for batch in loader: # batch: (B, L) of token ids
# train_step(model, batch.cuda(), optim)
# generated = sample(model, L=128, T=128)
• 在 Google Colab Pro 上跑,"H100 GPU is much faster" 比 A100 明显快。
• Diffusion LM 比同规模 GPT 慢——讲师建议至少跑 200,000 iterations 才能看到像样的 sample,比常见的 GPT-2 from-scratch 教学 demo 高出一个数量级。
• 推理时的 "neon style gif" 可视化是从 GPT-2 from-scratch 项目搬过来的,本身和 diffusion 无关,但能直观看到"全
[MASK] → 真实句子"逐步揭开的过程。
九、MDLM 是这一支线的引爆点
讲师在 CMU L12 中把 absorbing diffusion 这条线的"现代化重启"归功给一组 2024 年集中爆发的工作。其中 MDLM(Sahoo et al., NeurIPS 2024)地位最特殊。
- 题目"Simple and Effective"不是宣传——它的训练目标和我们上面写的 PyTorch skeleton 几乎一模一样,没有花哨的 trick。
- 关键工程改进:(1) continuous-time ELBO 取代 D3PM 的离散时间步;(2) 上面 $1/\bar\beta_t$ 那个权重的精确推导;(3) carry-over unmasking——已揭开 token 在后续步骤永不再被 re-mask;(4) zero-masking-rate 训练样本剔除等数值技巧。
- 结果:在 LM1B、OpenWebText 上的 zero-shot perplexity 首次超过同 size 的 GPT-2,下游 LAMBADA / HellaSwag 也与自回归基线打平。这是讲师反复强调的"breakthrough moment"——discrete diffusion 终于在 scale 上证明自己。
- 同期工作还有 RDM(Reparameterized Discrete Diffusion,He et al. 2023)、SUBS(Subsequence diffusion)、Inception Labs 的 Mercury(商业 diffusion LLM)等。
十、第二种范式:SEDD 与 Concrete Score
到这里为止我们走的是 absorbing 路线——靠 [MASK] 这个吸收态简化分析。还有另一条理论路线,由 Aaron Lou, Chenlin Meng, Stefano Ermon (ICML 2024 Best Paper) 的 SEDD(Score Entropy Discrete Diffusion)代表。SEDD 不依赖 [MASK],而是把 score matching 直接搬到离散空间。
10.1 离散里没有"梯度",怎么定义 score?
连续扩散里的 score 是 $\nabla_x \log p_t(x)$——分布的梯度。在离散空间没有梯度可言(你怎么"对 token 求导"?)。SEDD 给的替代叫 concrete score 或 ratio score:
$$s_\theta(x, y, t) \;\approx\; \frac{p_t(y)}{p_t(x)}$$
解读:对每一对状态 $(x, y)$(通常 $y$ 是 $x$ 改一个 token 得到的近邻),模型预测它们的概率比。这个比值在连续极限下就退回 score 的方向导数。
10.2 训练目标:Score Entropy Loss
SEDD 给的训练目标叫 score entropy(区别于连续空间的 score matching 的 Hyvärinen 损失):
$$\mathcal{L}_{\text{SE}}(\theta) = \mathbb{E}_{t,\,x\sim p_t}\,\sum_{y \neq x} w_t(x,y)\left[ s_\theta(x,y,t) - \frac{p_t(y)}{p_t(x)}\log s_\theta(x,y,t) + \text{const}\right]$$
其中 $w_t(x,y)$ 是邻接图上的转移率(通常只在改一个 token 的邻居上非零)。不用知道 $p_t$ 的归一化常数——这点和连续 score matching 一致,是它能 scale 的关键。
10.3 概念直觉:什么叫"概率比"?
用 "I love cat" 的玩具例子回想一下。设当前状态 $x$ = "I love cat",三个邻居:
- $y_1$ = "I love dog"(把 cat 换成 dog)
- $y_2$ = "You love cat"(把 I 换成 You)
- $y_3$ = "I hate cat"(把 love 换成 hate)
concrete score $s_\theta(x, y_i, t)$ 告诉你"在时间 $t$,从 $x$ 跳到 $y_i$ 的相对概率有多大"。如果 $y_1$ 出现得比 $x$ 频繁(在 $p_t$ 下),那 $s_\theta(x, y_1, t) > 1$;反过来则 $< 1$。这个比值就是离散版的"梯度方向"——它告诉模型应该往哪个邻居走能"上坡",逼近真实数据分布的局部峰值。
SEDD 训练完成后,反向 sampling 不是"填 [MASK]",而是在状态图上做马尔可夫跳跃:从一个状态 $x$ 出发,按 $s_\theta(x, y, t)$ 给的相对概率挑邻居 $y$,跳过去,再从 $y$ 继续。这是和 absorbing 路线截然不同的 sampling 方式。
10.4 SEDD vs MDLM:选哪个?
| 维度 | MDLM (absorbing) | SEDD (general) |
|---|---|---|
| 前向噪声 | 只往 [MASK] 跳 |
任意 transition graph |
| 训练目标 | cross-entropy(≈ BERT) | score entropy(ratio matching) |
| 实现难度 | 极简,重用 BERT 训练栈 | 需要在邻接图上枚举 |
| 理论一致性 | absorbing 是特例 | 更通用的离散 score matching 框架 |
| 实证性能 | 已经追上 GPT-2 perplexity | 和 MDLM 同档,部分指标更好 |
十一、离散扩散 vs autoregressive:到底强在哪?
Vizuara 在 L12 chunk #163 把诉求说得很直接:
那"为什么"非要换掉 autoregressive?站在 2024-2026 的视角,社区给出的卖点大致是:
- 并行解码——一步预测所有
[MASK],固定步数 $T$ 内出 token,理论上和 batch decoding 一样快,而不像 GPT 必须 $L$ 步串行。Inception Labs 的 Mercury 商业 API 演示里,diffusion LM 对长 prompt 的 wall-clock latency 可以做到比 GPT-4 快几倍——背后就是这件事。 - 双向 context——填空时看得到左右两边,和 BERT 一样擅长 cloze、infilling、结构化生成(受控生成、约束生成天然友好)。GPT 想做填空式生成必须用 prefix LM 或者 fim 这类后门技巧;diffusion LM 天生就是填空模型。
- 非因果场景——蛋白质设计、代码补全(中间往两头填)、多模态 token 重排,这些任务"顺序"本身就不是从左到右的因果。autoregressive 强行把它们顺序化要付出建模代价;diffusion 不需要。
- 固定步数延迟——长文本生成的 wall-clock 不再随长度线性增长。生成 200 个 token 和生成 2000 个 token 用相同步数 $T$,只是每步的 attention 矩阵更大。
- 更适合控制和编辑——给定一段已有文本,把不想要的位置改成
[MASK],剩下原样,喂进模型重新采样——这就是局部编辑。autoregressive 做这件事得 prompt engineering + sample-and-filter。
- LLaDA (Renmin Univ. + AI21, 2025):把 absorbing diffusion scale 到 8B 参数,在 MMLU、GSM8K 上和同 size 的 Llama 2 7B 持平甚至略胜,证明 masked diffusion 可以走完整的 instruction-tuning 流程。
- Dream-7B (HKU, 2025):另一个 8B 量级 diffusion LM,重点在 RLHF on diffusion——把 reward 信号传回 absorbing process 的非平凡问题。
- Diffusion-of-thought:把 chain-of-thought 推理过程当作可以被"先想后说"的 diffusion 中间状态,让模型在 latent 里"反复修改"思考再输出。
- 这条线和下下章 Diffusion + RLHF 紧密相关。
十二、回到讲师反复强调的「diffusion 三视角」在离散里的对应
CMU L12 chunk #1556–#1557 做了一个非常有用的整理:连续扩散有三种等价视角(DDPM / score-based / flow matching),它们在离散世界的对应是什么?
| 视角 | 连续 | 离散 |
|---|---|---|
| Denoising | DDPM:学 $\epsilon_\theta$ 或 $x_0$ 预测 | MDLM:学 $p_\theta(x_0\mid x_t)$ |
| Score-based | 学 $\nabla_x \log p_t(x)$ | SEDD:学 concrete score $p_t(y)/p_t(x)$ |
| Flow matching | 学 velocity field $v_\theta$ | Discrete Flow Matching(Gat et al. 2024):在 categorical simplex 上学 velocity |
讲师的原话(chunk #1557):"can we have a mapping from the formulations in continuous diffusion to discrete diffusion. This is the question that we're mainly going to be answering today."——本章和上一章合起来就是这个问题的回答。
十三、源讲座片段
[MASK] 当噪声"。十四、本章要记住的(讲师亲口给的核心)
- 离散扩散有两条主路线:uniform transition(每个 token 以 $\beta/V$ 概率乱跳)和 absorbing transition(只能往
[MASK]跳)。Masked Diffusion 走的是后者。CMU 用 "I love cat" 玩具词表 + $Q$ 矩阵展开第一条;本章主体讲第二条。 - $q(x_t\mid x_0)$ 是 absorbing 路线最甜的礼物:每个位置独立翻一枚 $\bar\beta_t$ 概率的硬币,直接出 $x_t$。一步采样 = 训练效率。
- Masked Diffusion ≈ "变速率 + 迭代用法"的 BERT。Mask 率从 BERT 的固定 15% 推广到 $t\sim\mathcal{U}[0,1]$ 全覆盖;推理时从全
[MASK]起步、迭代揭开。 - 采样是 confidence-driven 的:每步只揭高置信度的几个位置,让剩下的位置 condition 在已揭开的真实 token 上。一次性全揭开会拼出"the the the envelope"那种 bug。
- MDLM (Sahoo et al. NeurIPS 2024) 是引爆点:absorbing diffusion + 连续时间 ELBO + carry-over unmask,让 discrete diffusion LM 首次在 perplexity 上追上同规模 GPT-2。讲师在 L12 反复 cite。
- SEDD (Lou et al. ICML 2024 Best Paper) 是另一条理论旗手:学 concrete score $p_t(y)/p_t(x)$,把 score matching 推广到离散邻接图,不依赖
[MASK],但工程更重。 - 三视角统一:DDPM ↔ MDLM、score-based ↔ SEDD、flow matching ↔ Discrete Flow Matching。这正是 CMU L12 想给学生留下的"地图"。下一章我们把这张地图落地成一份完整的 Diffusion LLM from scratch 代码。