扩散语言模型与并行解码
LLaDA / DiffuLLaMA:能不能取代 ARM。
21. 扩散语言模型与并行解码
主源:Vizuara《Build a Diffusion Language Model from Scratch》Lecture 1–18(讲师 Dr. Raj Dandekar);副源:Vizuara《Principles of Diffusion Models》Lecture 1。本章是 Module 6 的总结,也是全书的收官。
📌 TL;DR
问题:从第 1 章我们就遇到 Karpathy 抛出的疑问——「为什么图像偏好扩散、文本却始终停留在自回归(AR)」?走完 19 章(连续扩散 ODE/SDE)和 20 章(吸收态离散扩散)后,我们终于站在了能正面回答这个问题的位置。
结论(2024–2025 的现实):文本正在开始离开"只能 AR"的状态。MDLM(Sahoo et al., Cornell, 2024)首次用吸收态 + 连续时间在 GPT-2 量级上跑赢困惑度;SEDD(Lou et al., 2024)用 score-entropy 做到类似水平;DiffuLLaMA 把预训练 LLaMA 改造头部用扩散目标继续训;LLaDA(Nie et al. 2025)把规模做到 8B,在部分数学/推理基准上击败 LLaMA-3-8B-Instruct——这是第一个真正 LLM 量级的扩散语言模型。
核心机制(并行解码):从全 [MASK] 序列出发,每一步用同一个 Transformer 给所有被遮盖位置打 logits,然后"贪心地"取 top-$k$ 最有把握的位置一次性 unmask,剩下的位置继续被遮盖、进入下一步。$T$ 步走完,序列填满。
真正的红利不止速度:双向上下文(破除"反转诅咒")、任意位置可编辑、infilling 原生支持、与 MoE / KV-free 长上下文设计的兼容性。未解决的难点:5 万词表造成 50K × 50K 的转移矩阵、最优损失函数仍是开放问题、长序列容量。
一句话:Dr. Raj 在第 1 章问"语言为什么不用扩散"——本章的回答是"2025 年起,它已经开始用了"。
一、把第 1 章那个问题拿回桌面
本书开篇引用 Karpathy 的一条推文,原话被 Dr. Raj 在 Lecture 2 反复重述:
这条推文之后接着的是 Karpathy 自己也想不通的一个问题,Dr. Raj 在 Lecture 5 几乎逐字复述了一遍:
"Most image generation tools actually use diffusion and not autoregression. It's only text which has been left behind. So it is a bit of a mystery to me and many others that why for some reason text prefers autogeneration but image / videos prefer diffusion."
这就是本书的元问题。在第 1 章你只是被提醒"有这么个谜"。走过 ELBO(ch3)、DDPM(ch6)、Score Matching(ch10)、连续时间 SDE(ch15)、引导(ch17)、潜变量扩散(ch18)、离散 / 吸收态扩散(ch19、ch20)以后,你已经把语言扩散需要的每一块零件都摸过了。这一章的任务就是把零件装起来,然后看 2024–2025 年这台机器装出来到底像不像样。
二、回顾:从图像到文本,扩散三件套要怎么改?
Dr. Raj 在 Lecture 11 给了一个干净的总结,把"扩散模型"压缩成三个特征(key characteristics):
把这三件套从图像搬到文本,每一件都得改:
2.1 加噪:高斯加噪 → 离散吸收
图像像素是连续值,加高斯噪声天然合理。文本 token 是离散符号(id ∈ {0, 1, ..., V−1}),"加一点高斯"是没意义的——「book + 0.3」不是任何 token。第 20 章已经给出离散版本的答案:
- 吸收态扩散(absorbing diffusion):把"加噪"定义为"以概率 $\alpha_t$ 把 token 替换成特殊的
[MASK]"。Mask 是吸收态——一旦被遮住,不会再变回别的 token。 - 等价于 BERT 的 masked language modeling,但带时间 schedule:$t=0$ 完全没遮,$t=1$ 全部遮成 mask。
2.2 预测:噪声预测 → mask 预测
Dr. Raj 在 Lecture 13 给的图像直觉是"输入一张被加噪的图,预测加进去的噪声"。换到文本:
文本里没有"噪声向量"可预测,有的是被遮住的 token id。所以模型的输入是一个含 mask 的序列 $x_t$,输出是所有 mask 位置上 token 的分类分布:
$$p_\theta(x_0 \mid x_t) \;=\; \prod_{i \in \mathcal{M}_t} p_\theta(x_0^{(i)} \mid x_t)$$这里 $\mathcal{M}_t$ 是 $x_t$ 里所有 mask 位置的下标。这就是 MDLM(Masked Diffusion Language Model)训练目标的雏形。
2.3 去噪:迭代采样 → 迭代 unmask
图像去噪是"一步步从纯噪声还原到一张清晰图"。文本去噪是"一步步从全 mask 还原到一句完整话"。
把"真实图像分布"换成"合法语言分布",整个直觉照搬。区别只在每步具体怎么 unmask——这正是第三节"并行解码"要讲的东西。
三、AR 与扩散:到底差在哪里
Dr. Raj 用了好几节课(L6–L10)从零讲清 AR Transformer 的内部,因为扩散语言模型的架构 80% 和它一样——他在 Lecture 7 明确说:
三个"key characteristics" = 加噪 + 噪声预测 + 去噪。其余 80% 全是 Transformer。所以这一章我们只画出 AR vs Diffusion 在训练与推理流程上的差异,不重新讲 attention(attention 见 ch8)。
四、Vizuara 课堂的小型扩散语言模型:跑通整条管道
Dr. Raj 把整门课压缩到 Lecture 15 的一张"全流水线图",重头开始造一台小型扩散语言模型(small diffusion language model from scratch),数据是 TinyStories。我们沿用他的口吻把这条管道复述一遍,方便你把整个 Module 6 缝合起来。
4.1 数据与 batch 构造
Lecture 16 的代码用 TinyStories 数据集,他在 budget_100 模式下取 100 万条短故事、序列长度 seq_len = 128、训练步数 60,000;在 quick 模式下只取 5 万条、2,000 步(给免费 Colab T4 用)。
这句话其实蕴含一个本章重要的观察:训练扩散语言模型成本明显高于训练同尺寸 AR 模型。原因是双向 attention 在训练时拿不到任何"因果剪枝"的便宜;而且因为 mask 子集是动态采的,每个 token 的有效梯度贡献只有大约 $\alpha_t$ 那么多(被遮的位置才贡献 loss),相当于"数据效率"打了折扣。
4.2 噪声 schedule
把吸收态扩散的 schedule 写出来——在时刻 $t \in [0, 1]$,每个 token 独立以概率 $\alpha_t$ 被替换成 mask:
$$x_t^{(i)} \;=\; \begin{cases} \text{[MASK]}, & \text{以概率 } \alpha_t \\ x_0^{(i)}, & \text{以概率 } 1-\alpha_t \end{cases}$$$\alpha_t$ 通常取线性($\alpha_t = t$)或余弦($\alpha_t = 1 - \cos(\pi t / 2)$)。Dr. Raj 在白板上画的是线性。$t=0$ 时不遮,$t=1$ 时全遮。
4.3 模型:Transformer + 时间嵌入
架构就是一个 GPT 风格的 Transformer,三点改动:
- 去掉 causal mask:双向 self-attention。Mask 位置可以看右边的 unmask 位置。
- 加 timestep embedding:仿照 DDPM(ch6)的 sinusoidal time embedding,加进每个 transformer block。这样同一序列在不同噪声水平下的行为可以分开建模。
- 输出头:每个位置都输出一个
V维 softmax 分布(V = 词表大小),包括非 mask 位置(虽然非 mask 位置的预测会被 loss mask 掉)。
4.4 训练目标
课程里用的是简化版 ELBO——一个加权的 masked cross-entropy:
$$\mathcal{L}(\theta) \;=\; \mathbb{E}_{t \sim U[0,1]} \;\mathbb{E}_{x_0,\, x_t} \;\left[ \frac{1}{\alpha_t} \sum_{i \in \mathcal{M}_t} -\log p_\theta\!\left(x_0^{(i)} \mid x_t\right) \right]$$Why:第 20 章的吸收态 ELBO 推导(MDLM 的 Theorem 1)告诉我们,不同噪声水平的位置应该用不同权重——遮得越多的 batch($\alpha_t$ 接近 1)每个位置带来的梯度信号越稀薄,所以要除以 $\alpha_t$ 把它放大;反过来遮得很少($\alpha_t$ 接近 0)的位置每个 mask 的信息量大,权重就小。这是 MDLM 比早期离散扩散(D3PM)训练效果好得多的关键调参之一。
4.5 推理:迭代 unmask
核心循环(Lecture 14 / 15 概念,下一节会写代码):
- 初始化 $x_T = [\text{MASK}, \ldots, \text{MASK}]$。
- For $t = T, T-1, \ldots, 1$:
- 把 $x_t$ 送进 Transformer,得到所有 mask 位置上的 V 维 logits。
- 计算每个 mask 位置的"置信度"(最大 logit / 熵的负值)。
- 取置信度 top-$k_t$ 的位置,从对应 softmax 里采样 token,把这些位置 unmask。
- 剩下的位置仍是 mask,进入下一步。
- $t=0$ 时所有位置都已 unmask,输出 $x_0$。
这就是并行解码(parallel decoding)。它的精确变种很多,下节单独讲。
五、并行解码:贪心、Gumbel、Nucleus 三种 unmask 策略
"每步 unmask top-$k$ 最有把握的位置"是一句听起来简单的话,真做实现要确定三件事:
- "最有把握"的度量是什么?
- 每步 unmask 多少个位置?
- 选中位置上 token 怎么采样?
5.1 置信度度量
最常见三种:
- Max-prob:$c_i = \max_v p_\theta(v \mid x_t, i)$。最大 softmax 概率。最简单,MaskGIT 起源用法。
- Negative entropy:$c_i = -H[p_\theta(\cdot \mid x_t, i)]$。熵越小越有把握。
- Gumbel:$c_i = \log p_\theta(v_i^*) + g_i$,其中 $g_i$ 是 Gumbel 噪声,$v_i^*$ 是该位置 argmax。等价于"按概率排序采选哪些位置 unmask"。
5.2 schedule:每步 unmask 多少?
设序列长度为 $L$、总步数为 $T$,第 $t$ 步要 unmask 的位置数 $k_t$ 满足 $\sum_t k_t = L$。常见 schedule:
- Uniform:$k_t = L / T$,每步等量。
- Cosine:$k_t = \lceil L \cdot (\cos(\pi(t-1)/2T) - \cos(\pi t/2T)) \rceil$。前期慢、后期快(前期"有把握"的位置少,要慢慢提;后期剩下的容易,可以一次填一批)。
- Linear:$k_t = \lceil L t / T \rceil - \lceil L (t-1)/T \rceil$。
LLaDA 论文(Nie et al. 2025)发现 cosine 在 8B 规模上明显胜出,这和图像扩散里余弦 schedule 普遍优于线性的现象一致。
5.3 token 采样
选中位置后,从该位置的 $V$ 维 softmax 里取 token:
- Greedy:argmax。确定性、但单调,多样性差。
- Categorical:直接按 softmax 采样。
- Top-$p$ / nucleus:把 softmax 截断到累计概率 $p$(如 0.9)的 token 子集再归一化采样。和 AR 推理里的 nucleus sampling 完全同义。
扩散并行解码里同时有两个 top-$k$ ——
• 第一层是位置上的 top-$k$:选哪些 mask 位置在本步 unmask;
• 第二层是词表上的 top-$k$ / top-$p$:选好位置后该位置具体填哪个 token。
读论文实现时一定要分清楚每个超参作用的层级。
六、并行解码到底快不快?KV cache 的反向不平等
从理论上看 AR 每步 1 token、扩散每步 K token,速度比应该是 K 倍。但现实没那么简单。
6.1 理论上的速度比
$$\text{Speedup}_{\text{ideal}} \;=\; \frac{L}{T} \quad \text{(扩散步数远少于 token 数时显著)}$$例如 LLaDA 报告 $L = 2048, T = 32$ 时理论速度比 = 64×。听起来很美。
6.2 现实中的反向不等式:KV cache
AR 推理时有一个杀手锏叫 KV cache:第 $t$ 步算 token $x_t$ 时,前面 $t-1$ 步的 Key / Value 已经缓存好了,每步只新增一行 attention 计算。所以 AR 单步是 O(L) 而非 O(L²),总成本 O(L²)。
扩散语言模型呢?双向 attention、每步所有位置都要重新算,没有 KV cache 的对应物。每步是 O(L²),T 步是 O(T · L²)。
对比两边的实际单序列推理 FLOPs:
| 设定 | AR + KV cache | 扩散并行 |
|---|---|---|
| 单步 FLOPs | $O(L)$ | $O(L^2)$ |
| 步数 | $L$ | $T$ |
| 总 FLOPs | $O(L^2)$ | $O(T \cdot L^2)$ |
| 条件 | 单序列 batch=1 时近乎最优 | 要 $T \ll L$ 才占优 |
单序列、单卡推理时 AR 比扩散更快(KV cache 把 attention 摊薄到了 O(L)),扩散反而更慢——这是很多人第一次跑 LLaDA / DiffuLLaMA 的"打脸"经验。
但在大 batch、长序列、并行化推理服务场景下,扩散的优势开始显现:(1)每步 K 个位置同时生成,每步内部高度并行,更适合现代 GPU;(2)每步的 attention 是双向、batch 内同形状的 dense matmul,硬件利用率比 AR 的"长尾依赖、cache 大小不规则"高;(3)KV cache 在长序列时本身就成为内存瓶颈(H100 80GB 显存装不下太多 64K 长度的 cache),扩散没有这个瓶颈。
结论:扩散语言模型的"快"是系统级、batch 级、长序列级的,不是单序列 wall-clock。Dr. Raj 在 L17 提到 H100 比 T4 快很多,正是因为 H100 的 batch 吞吐能力让扩散的并行优势放出来了。
七、不只是快:扩散语言模型的真正红利
速度是顺带的好处。下面这几条结构性优势,AR 怎么改都做不到。
7.1 双向上下文:破除"反转诅咒"
"反转诅咒(reversal curse)"在第 1 章被点过:用"A 的父亲是 B"训练的 AR 模型,问"B 的儿子是谁"答不上来,因为它从未见过反向条件下的因果链。Berglund et al. 2023 用 GPT-3.5 / Llama 系列做了严格实验,发现这是AR 训练范式的内在缺陷。
扩散语言模型每个位置都能看左和右,训练时根本不区分前后顺序——一个序列 "A 的父亲是 B" 被加噪后,模型可能要从 "A 的 [MASK] 是 B" 预测 "父亲",也可能从 "[MASK] 的父亲是 B" 预测 "A"。两种方向都被原生训练过。
7.2 任意位置 infilling
AR 想做 infilling 必须设计特殊格式(FIM, "fill-in-the-middle"),且效果有限。扩散语言模型天生支持——把已知 token 设为非 mask,未知 token 设为 mask,跑标准并行解码即可。文档补全、代码 hole-filling、翻译里的 placeholder——全都不用改架构。
7.3 任意位置可编辑
已经生成的序列想改某个 token?AR 模型几乎做不到——一旦改了位置 $i$,后续 $i+1, \ldots, L$ 全部基于错误的前缀,要重新生成。扩散模型可以把单个位置重新设为 mask、跑一两步 partial denoising,局部更新,其他位置不动。这开启了 iterative refinement 的新交互模式。
7.4 数学/推理:实证上意外强
LLaDA-8B 在 GSM8K(小学应用题)和部分 MATH 子集上超过 LLaMA-3-8B-Instruct。这有点反直觉——直觉上 AR 的"思维链(chain-of-thought)"应该更适合数学,因为推理本来就是单向的。但实际原因可能是:扩散允许"草稿—修正"式生成,模型可以先 unmask 中间的关键结论(如答案数字),再回头 fill 推理步骤;而 AR 必须严格从左到右、无法"先写答案再补过程"。
- MDLM(Sahoo et al., Cornell, 2024,NeurIPS)—— "Simple and Effective Masked Diffusion Language Models"。第一次在 GPT-2 量级(345M)上把扩散语言模型的困惑度刷到与 GPT-2 同水平。核心配方:吸收态(mask-only) + 连续时间 + 简化 ELBO(去掉 D3PM 里复杂的 KL 项,只保留 weighted masked CE)。开源权重 + 代码。Dr. Raj 在视频里反复提到的就是这篇。
- SEDD(Lou, Meng, Ermon, Stanford, 2024,ICML best paper)—— "Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution"。换了一个角度——不直接预测 token,而是预测概率比 $p(x_0)/p(x_{0,\backslash i})$,叫 score entropy。empirical 与 MDLM 同级。
- DiffuLLaMA / DiffuLLaMA-2(2024)—— "免费午餐"路线:拿预训练好的 LLaMA 权重,只重训输出头+ 改 attention mask 为双向,继续训 ~1% 的 token 数即可得到一个 decent 的扩散语言模型。证明扩散和 AR 在表示上高度兼容,扩散范式可以"嫁接"到现有 LLM 上。
- LLaDA(Nie et al., 2025)—— "Large Language Diffusion Model"。第一次把扩散语言模型推到 8B 参数,从头训而非 fine-tune。在 GSM8K / MMLU 部分子集 / reversal benchmark 上击败 LLaMA-3-8B-Instruct。开源权重。这是本章的核心信号——说明扩散语言模型不只是 academic curiosity,已经触及 production-scale。
八、PyTorch 骨架:训练一个 mini 扩散语言模型
结合 Lecture 16–17 的思路、并采用 MDLM 的简化 ELBO,给一个最小可读的训练 + 采样骨架。这是工程层的"接通",把第 19、20 章的离散扩散理论与本章的 transformer 实现接到一起。
import torch
import torch.nn as nn
import torch.nn.functional as F
MASK_ID = 50256 # 留给词表里的特殊 mask token id
class DiffusionLM(nn.Module):
"""最小化版 MDLM-style 扩散语言模型。"""
def __init__(self, vocab_size, d_model=384, n_layers=6, n_heads=6, max_len=128):
super().__init__()
self.tok_emb = nn.Embedding(vocab_size, d_model)
self.pos_emb = nn.Embedding(max_len, d_model)
# 时间嵌入:把连续 t 投影到 d_model 维
self.time_mlp = nn.Sequential(
nn.Linear(1, d_model), nn.SiLU(), nn.Linear(d_model, d_model)
)
# 双向 transformer:注意 batch_first + 不传 causal mask
enc_layer = nn.TransformerEncoderLayer(
d_model, n_heads, dim_feedforward=4*d_model,
batch_first=True, activation='gelu', norm_first=True
)
self.transformer = nn.TransformerEncoder(enc_layer, n_layers)
self.head = nn.Linear(d_model, vocab_size)
self.max_len = max_len
def forward(self, x_t, t):
# x_t: (B, L) long, 含 MASK_ID
# t : (B,) float in [0,1]
B, L = x_t.shape
pos = torch.arange(L, device=x_t.device).unsqueeze(0).expand(B, L)
h = self.tok_emb(x_t) + self.pos_emb(pos)
h = h + self.time_mlp(t.unsqueeze(-1)).unsqueeze(1) # broadcast 到每个位置
h = self.transformer(h) # 双向 attention
return self.head(h) # (B, L, V)
def mdlm_loss(model, x0, vocab_size):
"""MDLM 的简化 ELBO:1/alpha_t 加权的 masked cross-entropy。"""
B, L = x0.shape
device = x0.device
# 步骤 1:每个样本采一个 t ~ U[0, 1]
t = torch.rand(B, device=device)
alpha = t # 线性 schedule:alpha_t = t
# 步骤 2:以 alpha_t 概率把每个 token 替换成 MASK
mask = torch.rand(B, L, device=device) < alpha.unsqueeze(1)
x_t = torch.where(mask, torch.full_like(x0, MASK_ID), x0)
# 步骤 3:模型预测
logits = model(x_t, t) # (B, L, V)
# 步骤 4:只在 mask 位置算 CE,按 1/alpha_t 加权
log_probs = F.log_softmax(logits, dim=-1)
target_lp = log_probs.gather(-1, x0.unsqueeze(-1)).squeeze(-1) # (B, L)
per_pos_loss = -target_lp * mask.float() # 非 mask 位置 = 0
# 每样本:把所有 mask 位置 loss 加起来 / alpha_t
per_sample = per_pos_loss.sum(dim=1) / (alpha + 1e-8)
return per_sample.mean()
@torch.no_grad()
def sample(model, vocab_size, L=128, T=32, top_k_schedule='cosine'):
"""并行解码采样:cosine schedule + greedy unmask + categorical token sampling。"""
device = next(model.parameters()).device
x = torch.full((1, L), MASK_ID, dtype=torch.long, device=device)
# 计算每步要 unmask 多少:cosine schedule
import math
cumul = [math.ceil(L * (1 - math.cos(math.pi * s / (2*T)))) for s in range(T+1)]
k_per_step = [cumul[s] - cumul[s-1] for s in range(1, T+1)]
for step in range(T):
t = torch.tensor([1 - step / T], device=device)
logits = model(x, t) # (1, L, V)
probs = F.softmax(logits, dim=-1)
# 只看当前 mask 位置
mask_pos = (x == MASK_ID) # (1, L)
if not mask_pos.any():
break
# 每个 mask 位置:置信度 = max prob
max_probs, argmax_ids = probs.max(dim=-1) # (1, L)
conf = max_probs.masked_fill(~mask_pos, -1.0) # 非 mask 位置不参与排序
# 选 top-k 位置
k = min(k_per_step[step], mask_pos.sum().item())
topk_idx = conf[0].topk(k).indices
# 在这些位置上按 softmax 采样
for idx in topk_idx.tolist():
sampled = torch.multinomial(probs[0, idx], 1).item()
x[0, idx] = sampled
return x
• 不要给非 mask 位置打 loss:上面
mask.float() 已经处理了,但很多 first-pass 实现忘记,会让 loss 被"复制 token"的部分摊薄。• $1/\alpha_t$ 在 $t \to 0$ 时爆炸:实际实现里加 1e-8 截断或者把 $t$ 采样下界从 0 改成 0.001。
• 时间嵌入:可以用 sinusoidal 也可以用 MLP,区别不大;但必须有——否则模型不知道当前 mask 比例是多少、不会自适应调整温度。
• 词表的 mask token:要么扩词表加一个特殊 id,要么挪用一个低频 id(如 GPT-2 的
<|endoftext|>)。LLaDA 选择扩词表。
九、深入对比:AR 与扩散在三类任务上的画像
为了把"AR vs 扩散"这件事从概念层推进到可决策层,下面把两种范式在三类典型任务上的胜负图谱详细拆开。这不是 Dr. Raj 在课堂上展开过的内容(他的课主要停留在"造一台跑得起来的扩散语言模型"),但走到本章这个位置,你已经有足够的认知带宽消化这个对比。
9.1 长文本自由生成(write me a story)
在"给一段话开头、续写一段长文本"这种任务上,AR 仍然是当下的更稳健选择。原因有三:
- AR 的因果链对叙事时序天然友好,每个 token 都能完整看到此前的所有上下文;扩散每步只在并行 unmask 的瞬间看到当时的"半成品",对长程一致性的把握更脆弱。
- AR 已经被 RLHF / SFT / DPO 反复打磨过,对人类偏好的对齐质量目前仍优于扩散语言模型。
- AR 的 sampling 配方(temperature、top-$p$、repetition penalty)成熟到了"按食谱抄就行",扩散的并行 sampling 还在论文之间互相打架。
9.2 数学推理与代码补全
这是扩散开始反超的战场。代码补全本质是 infilling,扩散原生支持。数学推理则受益于"先写答案再补过程"的灵活生成顺序——这在 LLaDA 的 ablation 里被明确验证。Dr. Raj 在 Lecture 18 留下的"造一个跟 Qwen 一样好的扩散语言模型"的呼吁,最有希望的入口正是这两条赛道。
9.3 编辑与受控生成
"已有一段文本,把它改写得更正式一点"——AR 的标准做法是 instruction-tuning 后用 prompt 引导重写。扩散做法非常自然:把要保留的位置 unmask,要改的位置设为 mask,跑 partial denoising。受控的粒度精确到 token 级,这是 AR 在架构层做不到的事。同样的逻辑也适用于格式约束生成(如 JSON 模板、SQL 填空),扩散是天然的 constrained generation 引擎。
十、开放挑战:扩散语言模型还差什么
9.1 词表规模与转移矩阵
真实 LLM 词表 V ≈ 50K(GPT-2 BPE)到 200K(LLaMA-3)。完整的离散扩散转移矩阵是 V × V,这在内存上完全不可承受。吸收态扩散偷了一个巨大的工程便宜——转移矩阵只有两种行为(保持原 token 或变成 mask),结构非常稀疏。但这种简化也意味着放弃了"token 之间的语义距离"——"book"加噪应该更容易变成"books"或"chapter"才合理,吸收态扩散却一律变 mask。这在词表很大、长尾很长的真实语言上是一个明显的损失。MDLM、LLaDA 都用 mask-only,是承认了这个 trade-off 仍是当下最优选,但研究方向是显然的。
9.2 损失函数仍是开放问题
MDLM 的 simplified ELBO、SEDD 的 score entropy、D3PM 的完整 ELBO ——三种损失在文献里各有支持者。Dr. Raj 在系列结尾说:
这句话潜台词是:损失函数的设计空间还远没穷尽。每年都有新的 ELBO 变体、加权 schedule、time embedding 方案被提出,没有像 AR 那样"交叉熵 + 因果 mask"般的统治性配方。
9.3 长上下文
AR 在长上下文方面已经走得很远(128K、1M 上下文已落地)。扩散语言模型因为每步要算双向 attention,计算和显存成本是 AR 的 T 倍。在 T = 32、上下文 32K 这种现实需求下,目前的扩散语言模型还吃不消。RingAttention、Mamba 那种"按 token 流式处理"的 trick 在扩散里需要重新发明。
9.4 RLHF 与 alignment
RLHF 在 AR 上的标准流程(PPO / DPO / RLOO)建立在"逐 token 计算 log-likelihood"之上。扩散语言模型的 likelihood 是个 ELBO(下界,非精确),且依赖采到的 mask 子集——把这套搬到 RLHF 框架里需要新的算法。LLaDA 的 SFT 已经有论文,但 RLHF 仍处早期。
十一、回到 Dr. Raj 的开题:语言为什么不用扩散?2025 年的答案
把整章压缩到一句话:
2024 年以前:扩散语言模型只是 academic toy(D3PM、Argmax Flow),困惑度差、scale 上不去。
2024 年:MDLM / SEDD 在 GPT-2 量级追平。
2025 年:LLaDA 在 8B 量级选择性击败 LLaMA-3-8B。
正在发生的:从"AR 是唯一选项"转变为"AR 是一种选项,扩散是另一种、且越来越有竞争力的选项"。
Karpathy 当年那条推文的隐含假设——"语言天然适合 AR"——已经被实验证伪。语言适合 AR 的程度,可能只是因为 AR 范式得到了过去 8 年(GPT 系列 + transformer)几乎全部的工程关注,而扩散在文本上是新生事物。
十二、扩散语言模型的可视化总结
十三、把整门课接到这一步
你现在拥有的"知识库存":
- ch1 给出元问题(为什么文本是 AR)。
- ch2–ch3:VAE 与 ELBO——扩散损失的祖父。
- ch6:DDPM——离散时间高斯扩散,建立了"noising / predict noise / denoising"三件套。
- ch10:score matching——为什么"预测噪声"等价于"学 score"。
- ch15:SDE / ODE 视角——把扩散统一到连续时间 framework。
- ch17:classifier-free guidance——可控生成。
- ch18:latent diffusion——把扩散搬到 VAE 的 latent 空间。
- ch19:离散扩散一般形式(D3PM)。
- ch20:吸收态扩散——mask 作为唯一吸收态,是 MDLM/LLaDA 的基础。
- ch21(本章):把上面所有零件装成 2024–2025 的扩散语言模型,回答 ch1 的开题。
十四、where the field is going
站在 2025 年 5 月这个时间点,下面是几个正在被押注的方向,作为本书的结束语:
- 统一多模态扩散:图像、文本、音频共用同一个扩散 transformer backbone。Show-o、Transfusion 已经迈出第一步,预期 2025 下半年会有 production-scale 工作。
- 嫁接路线扩展:DiffuLLaMA 证明可以"嫁接"——预期会出现 DiffuQwen、DiffuGemini,把更多预训练 LLM 改造成扩散模型。
- KV-cache for diffusion:研究"双向 attention 在 mask 比例固定时的可缓存子结构"——这是把扩散单序列推理速度追上 AR 的关键。
- 非吸收态离散扩散:放弃"只有 mask 一种吸收态",重新引入 token 之间的语义噪声(uniform diffusion 的高效近似),希望覆盖词表稀疏性的缺陷。
- RLHF for diffusion LM:把 PPO / DPO 重新推导到扩散似然下,跑出第一个 RLHF 过的 8B 量级扩散 chat 模型。
- 更激进的:non-token-based diffusion:跳过 tokenization,直接在 byte / character / 甚至 raw audio 上做扩散——这在 AR 范式里几乎不可行(步数太多),但在扩散范式里因为 T 与 L 解耦而变得现实。
如果你认真读完了这本书的 21 章,你已经具备了"看懂任何 2026 年新出的扩散语言模型论文"的全部前置数学——ELBO(ch3)、score(ch10)、SDE(ch15)、guidance(ch17)、离散扩散(ch19–20)、masked 训练 + 并行解码(ch21)。剩下的差距只是论文里的具体工程细节。
Dr. Raj 在系列结尾说:"Maybe build your first open-source diffusion language model, which is as good as Qwen." 这句话对你不再是夸张——它是下一周末的副业项目。
本章要记住的(讲师亲口给的核心 + 2025 的现实)
- 扩散语言模型 = AR transformer × 80% + 三件套(加噪 / 预测 / 去噪) × 20%。讲师原话:"you can think of a diffusion language model as these key characteristics plus 80% of an ARM architecture."
- 训练目标:MDLM 简化 ELBO = 在 mask 子集上的 $1/\alpha_t$ 加权交叉熵。$\alpha_t$ 是 schedule(线性 / 余弦)下被遮 token 的比例。
- 并行解码:从全 mask 出发,每步用同一个 transformer 给所有 mask 位置打 logits,取 top-$k_t$ 最有把握的位置一次 unmask。T 步 ≪ L 步,理论速度比是 L/T。
- 但真实速度要看 batch 大小和序列长度——单序列 AR + KV cache 仍占优;大 batch、长序列、推理服务场景下扩散开始反超。
- 结构性优势远不止速度:双向上下文破除反转诅咒、原生 infilling、任意位置可编辑、数学/推理实证强(LLaDA-8B 在 GSM8K 上击败 LLaMA-3-8B-Instruct)。
- 2024 年的两大开源里程碑:MDLM(吸收态 + 连续时间,GPT-2 量级追平 AR) + SEDD(score entropy 视角,ICML best paper)。Dr. Raj 在视频里反复 cite 的就是 MDLM。
- 2025 年的关键信号:LLaDA-8B 是首个真正 LLM 量级、从头训的扩散语言模型,开源权重。DiffuLLaMA 证明可以"嫁接"——预训练 LLaMA 改 head + 双向 attention 继续训。
- 回答 ch1 的元问题:Karpathy 问"语言为什么不用扩散"。2025 年的回答是"它已经开始用了"——AR 的统治地位在动摇。