第 21 章 · Module 6: 离散与语言扩散

扩散语言模型与并行解码

LLaDA / DiffuLLaMA:能不能取代 ARM。


21. 扩散语言模型与并行解码

主源:Vizuara《Build a Diffusion Language Model from Scratch》Lecture 1–18(讲师 Dr. Raj Dandekar);副源:Vizuara《Principles of Diffusion Models》Lecture 1。本章是 Module 6 的总结,也是全书的收官。

📌 TL;DR

问题:从第 1 章我们就遇到 Karpathy 抛出的疑问——「为什么图像偏好扩散、文本却始终停留在自回归(AR)」?走完 19 章(连续扩散 ODE/SDE)和 20 章(吸收态离散扩散)后,我们终于站在了能正面回答这个问题的位置。

结论(2024–2025 的现实):文本正在开始离开"只能 AR"的状态。MDLM(Sahoo et al., Cornell, 2024)首次用吸收态 + 连续时间在 GPT-2 量级上跑赢困惑度;SEDD(Lou et al., 2024)用 score-entropy 做到类似水平;DiffuLLaMA 把预训练 LLaMA 改造头部用扩散目标继续训;LLaDA(Nie et al. 2025)把规模做到 8B,在部分数学/推理基准上击败 LLaMA-3-8B-Instruct——这是第一个真正 LLM 量级的扩散语言模型。

核心机制(并行解码):从全 [MASK] 序列出发,每一步用同一个 Transformer 给所有被遮盖位置打 logits,然后"贪心地"取 top-$k$ 最有把握的位置一次性 unmask,剩下的位置继续被遮盖、进入下一步。$T$ 步走完,序列填满。

$$x_T = [\text{MASK}, \ldots, \text{MASK}] \;\xrightarrow{\;T\text{ 步并行去噪}\;}\; x_0 = (\text{完整序列})$$

真正的红利不止速度:双向上下文(破除"反转诅咒")、任意位置可编辑、infilling 原生支持、与 MoE / KV-free 长上下文设计的兼容性。未解决的难点:5 万词表造成 50K × 50K 的转移矩阵、最优损失函数仍是开放问题、长序列容量。

一句话:Dr. Raj 在第 1 章问"语言为什么不用扩散"——本章的回答是"2025 年起,它已经开始用了"。

一、把第 1 章那个问题拿回桌面

本书开篇引用 Karpathy 的一条推文,原话被 Dr. Raj 在 Lecture 2 反复重述:

"Most of the LLMs you have been seeing are clones as far as the core modeling approach goes. They are all trained autoregressively—that is predicting tokens from left to right. Diffusion is different. It doesn't go left to right but it goes all at once. You start with noise and gradually denoise into a token stream."

这条推文之后接着的是 Karpathy 自己也想不通的一个问题,Dr. Raj 在 Lecture 5 几乎逐字复述了一遍:

"Most image generation tools actually use diffusion and not autoregression. It's only text which has been left behind. So it is a bit of a mystery to me and many others that why for some reason text prefers autogeneration but image / videos prefer diffusion."

这就是本书的元问题。在第 1 章你只是被提醒"有这么个谜"。走过 ELBO(ch3)、DDPM(ch6)、Score Matching(ch10)、连续时间 SDE(ch15)、引导(ch17)、潜变量扩散(ch18)、离散 / 吸收态扩散(ch19、ch20)以后,你已经把语言扩散需要的每一块零件都摸过了。这一章的任务就是把零件装起来,然后看 2024–2025 年这台机器装出来到底像不像样。

💡 本章定位:这是 Module 6 的收官,也是全书的终点章。我们不再引入新算子,而是问三个问题——(1)"语言扩散现在能跑成什么样?"(2)"并行解码到底快不快?"(3)"它真的能撼动 AR 吗?"

二、回顾:从图像到文本,扩散三件套要怎么改?

Dr. Raj 在 Lecture 11 给了一个干净的总结,把"扩散模型"压缩成三个特征(key characteristics):

"We will integrate the three main characteristics of diffusion models. First we need a noising process. Second we need to predict the noise using some sort of a model. And third we need a denoising process. The noising process in the case of images was adding noise to an image using a noising schedule."

把这三件套从图像搬到文本,每一件都得改:

2.1 加噪:高斯加噪 → 离散吸收

图像像素是连续值,加高斯噪声天然合理。文本 token 是离散符号(id ∈ {0, 1, ..., V−1}),"加一点高斯"是没意义的——「book + 0.3」不是任何 token。第 20 章已经给出离散版本的答案:

  • 吸收态扩散(absorbing diffusion):把"加噪"定义为"以概率 $\alpha_t$ 把 token 替换成特殊的 [MASK]"。Mask 是吸收态——一旦被遮住,不会再变回别的 token。
  • 等价于 BERT 的 masked language modeling,但带时间 schedule:$t=0$ 完全没遮,$t=1$ 全部遮成 mask。

2.2 预测:噪声预测 → mask 预测

Dr. Raj 在 Lecture 13 给的图像直觉是"输入一张被加噪的图,预测加进去的噪声"。换到文本:

"You take a noisy image... at each step of the noising process, how can we predict the amount of noise which is added?"

文本里没有"噪声向量"可预测,有的是被遮住的 token id。所以模型的输入是一个含 mask 的序列 $x_t$,输出是所有 mask 位置上 token 的分类分布:

$$p_\theta(x_0 \mid x_t) \;=\; \prod_{i \in \mathcal{M}_t} p_\theta(x_0^{(i)} \mid x_t)$$

这里 $\mathcal{M}_t$ 是 $x_t$ 里所有 mask 位置的下标。这就是 MDLM(Masked Diffusion Language Model)训练目标的雏形。

2.3 去噪:迭代采样 → 迭代 unmask

图像去噪是"一步步从纯噪声还原到一张清晰图"。文本去噪是"一步步从全 mask 还原到一句完整话"。

"What is denoising? Well, denoising is essentially starting from noise... slowly our aim is to get to that probability distribution where the true image actually lives." —— Dr. Raj, Lecture 14

把"真实图像分布"换成"合法语言分布",整个直觉照搬。区别只在每步具体怎么 unmask——这正是第三节"并行解码"要讲的东西。

三、AR 与扩散:到底差在哪里

Dr. Raj 用了好几节课(L6–L10)从零讲清 AR Transformer 的内部,因为扩散语言模型的架构 80% 和它一样——他在 Lecture 7 明确说:

"It turns out that for diffusion language models, their architecture is 80% similar to traditional language models with the addition of these three concepts. So you can think of a diffusion language model as these key characteristics plus 80% of an ARM architecture."

三个"key characteristics" = 加噪 + 噪声预测 + 去噪。其余 80% 全是 Transformer。所以这一章我们只画出 AR vs Diffusion 在训练与推理流程上的差异,不重新讲 attention(attention 见 ch8)。

AR 解码 vs 扩散并行解码(同一序列长度 L=8) AR:T = L 步,每步一个 token t=1 t=2 t=3 t=... t=8 ⋮ 共 8 步 扩散:T 步并行 unmask(T 可以 ≪ L) t=T t=T−1 t=T−2 t=... t=0 ⋮ T 步(如 T=4 ≪ L=8) 单 token 自左向右生成;每步必须等上一步完成。 每步同时填多个位置;可双向看上下文。 两条根本差异: ① AR 步数 = 序列长度 L;扩散步数 T 可以 < L("压缩时间维度")。 ② AR 注意力必须因果 mask(防偷看);扩散注意力双向(可以同时看左和右)。 ③ AR 训练 = 每位置一个 cross-entropy;扩散训练 = 在 mask 子集上的加权 cross-entropy(随 $t$ 加权)。 ④ AR 推理可用 KV cache 把单步降到 O(1);扩散每步要重算双向 attention(无 KV cache 的对应物)。

四、Vizuara 课堂的小型扩散语言模型:跑通整条管道

Dr. Raj 把整门课压缩到 Lecture 15 的一张"全流水线图",重头开始造一台小型扩散语言模型(small diffusion language model from scratch),数据是 TinyStories。我们沿用他的口吻把这条管道复述一遍,方便你把整个 Module 6 缝合起来。

4.1 数据与 batch 构造

Lecture 16 的代码用 TinyStories 数据集,他在 budget_100 模式下取 100 万条短故事、序列长度 seq_len = 128、训练步数 60,000;在 quick 模式下只取 5 万条、2,000 步(给免费 Colab T4 用)。

"Diffusion language models take time to train compared to the autoregressive models. So you should have access to Google Colab Pro. You can get A100 or H100 here. The H100 is much faster." —— Lecture 16

这句话其实蕴含一个本章重要的观察:训练扩散语言模型成本明显高于训练同尺寸 AR 模型。原因是双向 attention 在训练时拿不到任何"因果剪枝"的便宜;而且因为 mask 子集是动态采的,每个 token 的有效梯度贡献只有大约 $\alpha_t$ 那么多(被遮的位置才贡献 loss),相当于"数据效率"打了折扣。

4.2 噪声 schedule

把吸收态扩散的 schedule 写出来——在时刻 $t \in [0, 1]$,每个 token 独立以概率 $\alpha_t$ 被替换成 mask:

$$x_t^{(i)} \;=\; \begin{cases} \text{[MASK]}, & \text{以概率 } \alpha_t \\ x_0^{(i)}, & \text{以概率 } 1-\alpha_t \end{cases}$$

$\alpha_t$ 通常取线性($\alpha_t = t$)或余弦($\alpha_t = 1 - \cos(\pi t / 2)$)。Dr. Raj 在白板上画的是线性。$t=0$ 时不遮,$t=1$ 时全遮。

4.3 模型:Transformer + 时间嵌入

架构就是一个 GPT 风格的 Transformer,三点改动:

  1. 去掉 causal mask:双向 self-attention。Mask 位置可以看右边的 unmask 位置。
  2. 加 timestep embedding:仿照 DDPM(ch6)的 sinusoidal time embedding,加进每个 transformer block。这样同一序列在不同噪声水平下的行为可以分开建模。
  3. 输出头:每个位置都输出一个 V 维 softmax 分布(V = 词表大小),包括非 mask 位置(虽然非 mask 位置的预测会被 loss mask 掉)。

4.4 训练目标

课程里用的是简化版 ELBO——一个加权的 masked cross-entropy:

$$\mathcal{L}(\theta) \;=\; \mathbb{E}_{t \sim U[0,1]} \;\mathbb{E}_{x_0,\, x_t} \;\left[ \frac{1}{\alpha_t} \sum_{i \in \mathcal{M}_t} -\log p_\theta\!\left(x_0^{(i)} \mid x_t\right) \right]$$
怎么理解前面那个 $1/\alpha_t$ 权重
Why:第 20 章的吸收态 ELBO 推导(MDLM 的 Theorem 1)告诉我们,不同噪声水平的位置应该用不同权重——遮得越多的 batch($\alpha_t$ 接近 1)每个位置带来的梯度信号越稀薄,所以要除以 $\alpha_t$ 把它放大;反过来遮得很少($\alpha_t$ 接近 0)的位置每个 mask 的信息量大,权重就小。这是 MDLM 比早期离散扩散(D3PM)训练效果好得多的关键调参之一。

4.5 推理:迭代 unmask

核心循环(Lecture 14 / 15 概念,下一节会写代码):

  1. 初始化 $x_T = [\text{MASK}, \ldots, \text{MASK}]$。
  2. For $t = T, T-1, \ldots, 1$:
    1. 把 $x_t$ 送进 Transformer,得到所有 mask 位置上的 V 维 logits。
    2. 计算每个 mask 位置的"置信度"(最大 logit / 熵的负值)。
    3. 取置信度 top-$k_t$ 的位置,从对应 softmax 里采样 token,把这些位置 unmask。
    4. 剩下的位置仍是 mask,进入下一步。
  3. $t=0$ 时所有位置都已 unmask,输出 $x_0$。

这就是并行解码(parallel decoding)。它的精确变种很多,下节单独讲。

"Ultimately, we built a diffusion language model fully from scratch. We understood the nuts and bolts of how the architecture is assembled. The idea was not to make a 5-minute or 10-minute tutorial, but to open the black box so that you can do research on top of this." —— Dr. Raj, Lecture 18 (series conclusion)

五、并行解码:贪心、Gumbel、Nucleus 三种 unmask 策略

"每步 unmask top-$k$ 最有把握的位置"是一句听起来简单的话,真做实现要确定三件事:

  1. "最有把握"的度量是什么?
  2. 每步 unmask 多少个位置?
  3. 选中位置上 token 怎么采样?

5.1 置信度度量

最常见三种:

  • Max-prob:$c_i = \max_v p_\theta(v \mid x_t, i)$。最大 softmax 概率。最简单,MaskGIT 起源用法。
  • Negative entropy:$c_i = -H[p_\theta(\cdot \mid x_t, i)]$。熵越小越有把握。
  • Gumbel:$c_i = \log p_\theta(v_i^*) + g_i$,其中 $g_i$ 是 Gumbel 噪声,$v_i^*$ 是该位置 argmax。等价于"按概率排序采选哪些位置 unmask"。

5.2 schedule:每步 unmask 多少?

设序列长度为 $L$、总步数为 $T$,第 $t$ 步要 unmask 的位置数 $k_t$ 满足 $\sum_t k_t = L$。常见 schedule:

  • Uniform:$k_t = L / T$,每步等量。
  • Cosine:$k_t = \lceil L \cdot (\cos(\pi(t-1)/2T) - \cos(\pi t/2T)) \rceil$。前期慢、后期快(前期"有把握"的位置少,要慢慢提;后期剩下的容易,可以一次填一批)。
  • Linear:$k_t = \lceil L t / T \rceil - \lceil L (t-1)/T \rceil$。

LLaDA 论文(Nie et al. 2025)发现 cosine 在 8B 规模上明显胜出,这和图像扩散里余弦 schedule 普遍优于线性的现象一致。

5.3 token 采样

选中位置后,从该位置的 $V$ 维 softmax 里取 token:

  • Greedy:argmax。确定性、但单调,多样性差。
  • Categorical:直接按 softmax 采样。
  • Top-$p$ / nucleus:把 softmax 截断到累计概率 $p$(如 0.9)的 token 子集再归一化采样。和 AR 推理里的 nucleus sampling 完全同义。
⚠️ 容易混淆的两层"top-$k$"
扩散并行解码里同时有两个 top-$k$ ——
• 第一层是位置上的 top-$k$:选哪些 mask 位置在本步 unmask;
• 第二层是词表上的 top-$k$ / top-$p$:选好位置后该位置具体填哪个 token。
读论文实现时一定要分清楚每个超参作用的层级。

六、并行解码到底快不快?KV cache 的反向不平等

从理论上看 AR 每步 1 token、扩散每步 K token,速度比应该是 K 倍。但现实没那么简单。

6.1 理论上的速度比

$$\text{Speedup}_{\text{ideal}} \;=\; \frac{L}{T} \quad \text{(扩散步数远少于 token 数时显著)}$$

例如 LLaDA 报告 $L = 2048, T = 32$ 时理论速度比 = 64×。听起来很美。

6.2 现实中的反向不等式:KV cache

AR 推理时有一个杀手锏叫 KV cache:第 $t$ 步算 token $x_t$ 时,前面 $t-1$ 步的 Key / Value 已经缓存好了,每步只新增一行 attention 计算。所以 AR 单步是 O(L) 而非 O(L²),总成本 O(L²)。

扩散语言模型呢?双向 attention、每步所有位置都要重新算,没有 KV cache 的对应物。每步是 O(L²),T 步是 O(T · L²)。

对比两边的实际单序列推理 FLOPs:

设定AR + KV cache扩散并行
单步 FLOPs$O(L)$$O(L^2)$
步数$L$$T$
总 FLOPs$O(L^2)$$O(T \cdot L^2)$
条件单序列 batch=1 时近乎最优要 $T \ll L$ 才占优
🟡 教材外补充:真实速度差还要看 batch 大小
单序列、单卡推理时 AR 比扩散更快(KV cache 把 attention 摊薄到了 O(L)),扩散反而更慢——这是很多人第一次跑 LLaDA / DiffuLLaMA 的"打脸"经验。
但在大 batch、长序列、并行化推理服务场景下,扩散的优势开始显现:(1)每步 K 个位置同时生成,每步内部高度并行,更适合现代 GPU;(2)每步的 attention 是双向、batch 内同形状的 dense matmul,硬件利用率比 AR 的"长尾依赖、cache 大小不规则"高;(3)KV cache 在长序列时本身就成为内存瓶颈(H100 80GB 显存装不下太多 64K 长度的 cache),扩散没有这个瓶颈。
结论:扩散语言模型的"快"是系统级、batch 级、长序列级的,不是单序列 wall-clock。Dr. Raj 在 L17 提到 H100 比 T4 快很多,正是因为 H100 的 batch 吞吐能力让扩散的并行优势放出来了。

七、不只是快:扩散语言模型的真正红利

速度是顺带的好处。下面这几条结构性优势,AR 怎么改都做不到。

7.1 双向上下文:破除"反转诅咒"

"反转诅咒(reversal curse)"在第 1 章被点过:用"A 的父亲是 B"训练的 AR 模型,问"B 的儿子是谁"答不上来,因为它从未见过反向条件下的因果链。Berglund et al. 2023 用 GPT-3.5 / Llama 系列做了严格实验,发现这是AR 训练范式的内在缺陷。

扩散语言模型每个位置都能看左和右,训练时根本不区分前后顺序——一个序列 "A 的父亲是 B" 被加噪后,模型可能要从 "A 的 [MASK] 是 B" 预测 "父亲",也可能从 "[MASK] 的父亲是 B" 预测 "A"。两种方向都被原生训练过。

💡 LLaDA 的实验观察:在 reversal benchmark 上,LLaDA-8B 显著超过同规模 LLaMA-3-8B,差距高达 20+ 个点。这是结构性差异,不是参数或数据规模能补的。

7.2 任意位置 infilling

AR 想做 infilling 必须设计特殊格式(FIM, "fill-in-the-middle"),且效果有限。扩散语言模型天生支持——把已知 token 设为非 mask,未知 token 设为 mask,跑标准并行解码即可。文档补全、代码 hole-filling、翻译里的 placeholder——全都不用改架构。

7.3 任意位置可编辑

已经生成的序列想改某个 token?AR 模型几乎做不到——一旦改了位置 $i$,后续 $i+1, \ldots, L$ 全部基于错误的前缀,要重新生成。扩散模型可以把单个位置重新设为 mask、跑一两步 partial denoising,局部更新,其他位置不动。这开启了 iterative refinement 的新交互模式。

7.4 数学/推理:实证上意外强

LLaDA-8B 在 GSM8K(小学应用题)和部分 MATH 子集上超过 LLaMA-3-8B-Instruct。这有点反直觉——直觉上 AR 的"思维链(chain-of-thought)"应该更适合数学,因为推理本来就是单向的。但实际原因可能是:扩散允许"草稿—修正"式生成,模型可以先 unmask 中间的关键结论(如答案数字),再回头 fill 推理步骤;而 AR 必须严格从左到右、无法"先写答案再补过程"。

🟡 教材外补充:landscape of 2024–2025 diffusion LMs
  • MDLM(Sahoo et al., Cornell, 2024,NeurIPS)—— "Simple and Effective Masked Diffusion Language Models"。第一次在 GPT-2 量级(345M)上把扩散语言模型的困惑度刷到与 GPT-2 同水平。核心配方:吸收态(mask-only) + 连续时间 + 简化 ELBO(去掉 D3PM 里复杂的 KL 项,只保留 weighted masked CE)。开源权重 + 代码。Dr. Raj 在视频里反复提到的就是这篇。
  • SEDD(Lou, Meng, Ermon, Stanford, 2024,ICML best paper)—— "Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution"。换了一个角度——不直接预测 token,而是预测概率比 $p(x_0)/p(x_{0,\backslash i})$,叫 score entropy。empirical 与 MDLM 同级。
  • DiffuLLaMA / DiffuLLaMA-2(2024)—— "免费午餐"路线:拿预训练好的 LLaMA 权重,只重训输出头+ 改 attention mask 为双向,继续训 ~1% 的 token 数即可得到一个 decent 的扩散语言模型。证明扩散和 AR 在表示上高度兼容,扩散范式可以"嫁接"到现有 LLM 上。
  • LLaDA(Nie et al., 2025)—— "Large Language Diffusion Model"。第一次把扩散语言模型推到 8B 参数,从头训而非 fine-tune。在 GSM8K / MMLU 部分子集 / reversal benchmark 上击败 LLaMA-3-8B-Instruct。开源权重。这是本章的核心信号——说明扩散语言模型不只是 academic curiosity,已经触及 production-scale。
2024–2025 主要扩散语言模型 vs AR 基线(示意) benchmark 平均分(越高越好) GPT-2 (345M) AR baseline 22 MDLM (345M) 扩散 23 SEDD (345M) 扩散 22.8 8B 量级 → LLaMA-3 8B AR LLM 62 DiffuLLaMA 嫁接 58 LLaDA 8B 扩散,从头训 64 数字为示意综合分(GSM8K / MMLU / 困惑度倒序的混合),仅用于展示量级关系

八、PyTorch 骨架:训练一个 mini 扩散语言模型

结合 Lecture 16–17 的思路、并采用 MDLM 的简化 ELBO,给一个最小可读的训练 + 采样骨架。这是工程层的"接通",把第 19、20 章的离散扩散理论与本章的 transformer 实现接到一起。

import torch
import torch.nn as nn
import torch.nn.functional as F

MASK_ID = 50256  # 留给词表里的特殊 mask token id

class DiffusionLM(nn.Module):
    """最小化版 MDLM-style 扩散语言模型。"""
    def __init__(self, vocab_size, d_model=384, n_layers=6, n_heads=6, max_len=128):
        super().__init__()
        self.tok_emb = nn.Embedding(vocab_size, d_model)
        self.pos_emb = nn.Embedding(max_len, d_model)
        # 时间嵌入:把连续 t 投影到 d_model 维
        self.time_mlp = nn.Sequential(
            nn.Linear(1, d_model), nn.SiLU(), nn.Linear(d_model, d_model)
        )
        # 双向 transformer:注意 batch_first + 不传 causal mask
        enc_layer = nn.TransformerEncoderLayer(
            d_model, n_heads, dim_feedforward=4*d_model,
            batch_first=True, activation='gelu', norm_first=True
        )
        self.transformer = nn.TransformerEncoder(enc_layer, n_layers)
        self.head = nn.Linear(d_model, vocab_size)
        self.max_len = max_len

    def forward(self, x_t, t):
        # x_t: (B, L) long, 含 MASK_ID
        # t  : (B,) float in [0,1]
        B, L = x_t.shape
        pos = torch.arange(L, device=x_t.device).unsqueeze(0).expand(B, L)
        h = self.tok_emb(x_t) + self.pos_emb(pos)
        h = h + self.time_mlp(t.unsqueeze(-1)).unsqueeze(1)  # broadcast 到每个位置
        h = self.transformer(h)                              # 双向 attention
        return self.head(h)                                  # (B, L, V)


def mdlm_loss(model, x0, vocab_size):
    """MDLM 的简化 ELBO:1/alpha_t 加权的 masked cross-entropy。"""
    B, L = x0.shape
    device = x0.device
    # 步骤 1:每个样本采一个 t ~ U[0, 1]
    t = torch.rand(B, device=device)
    alpha = t  # 线性 schedule:alpha_t = t
    # 步骤 2:以 alpha_t 概率把每个 token 替换成 MASK
    mask = torch.rand(B, L, device=device) < alpha.unsqueeze(1)
    x_t = torch.where(mask, torch.full_like(x0, MASK_ID), x0)
    # 步骤 3:模型预测
    logits = model(x_t, t)                                   # (B, L, V)
    # 步骤 4:只在 mask 位置算 CE,按 1/alpha_t 加权
    log_probs = F.log_softmax(logits, dim=-1)
    target_lp = log_probs.gather(-1, x0.unsqueeze(-1)).squeeze(-1)  # (B, L)
    per_pos_loss = -target_lp * mask.float()                  # 非 mask 位置 = 0
    # 每样本:把所有 mask 位置 loss 加起来 / alpha_t
    per_sample = per_pos_loss.sum(dim=1) / (alpha + 1e-8)
    return per_sample.mean()


@torch.no_grad()
def sample(model, vocab_size, L=128, T=32, top_k_schedule='cosine'):
    """并行解码采样:cosine schedule + greedy unmask + categorical token sampling。"""
    device = next(model.parameters()).device
    x = torch.full((1, L), MASK_ID, dtype=torch.long, device=device)
    # 计算每步要 unmask 多少:cosine schedule
    import math
    cumul = [math.ceil(L * (1 - math.cos(math.pi * s / (2*T)))) for s in range(T+1)]
    k_per_step = [cumul[s] - cumul[s-1] for s in range(1, T+1)]
    for step in range(T):
        t = torch.tensor([1 - step / T], device=device)
        logits = model(x, t)                                  # (1, L, V)
        probs = F.softmax(logits, dim=-1)
        # 只看当前 mask 位置
        mask_pos = (x == MASK_ID)                              # (1, L)
        if not mask_pos.any():
            break
        # 每个 mask 位置:置信度 = max prob
        max_probs, argmax_ids = probs.max(dim=-1)              # (1, L)
        conf = max_probs.masked_fill(~mask_pos, -1.0)          # 非 mask 位置不参与排序
        # 选 top-k 位置
        k = min(k_per_step[step], mask_pos.sum().item())
        topk_idx = conf[0].topk(k).indices
        # 在这些位置上按 softmax 采样
        for idx in topk_idx.tolist():
            sampled = torch.multinomial(probs[0, idx], 1).item()
            x[0, idx] = sampled
    return x
🧰 实战细节(讲师与 MDLM 论文里的工程经验)
• 不要给非 mask 位置打 loss:上面 mask.float() 已经处理了,但很多 first-pass 实现忘记,会让 loss 被"复制 token"的部分摊薄。
• $1/\alpha_t$ 在 $t \to 0$ 时爆炸:实际实现里加 1e-8 截断或者把 $t$ 采样下界从 0 改成 0.001。
• 时间嵌入:可以用 sinusoidal 也可以用 MLP,区别不大;但必须有——否则模型不知道当前 mask 比例是多少、不会自适应调整温度。
• 词表的 mask token:要么扩词表加一个特殊 id,要么挪用一个低频 id(如 GPT-2 的 <|endoftext|>)。LLaDA 选择扩词表。

九、深入对比:AR 与扩散在三类任务上的画像

为了把"AR vs 扩散"这件事从概念层推进到可决策层,下面把两种范式在三类典型任务上的胜负图谱详细拆开。这不是 Dr. Raj 在课堂上展开过的内容(他的课主要停留在"造一台跑得起来的扩散语言模型"),但走到本章这个位置,你已经有足够的认知带宽消化这个对比。

9.1 长文本自由生成(write me a story)

在"给一段话开头、续写一段长文本"这种任务上,AR 仍然是当下的更稳健选择。原因有三:

  • AR 的因果链对叙事时序天然友好,每个 token 都能完整看到此前的所有上下文;扩散每步只在并行 unmask 的瞬间看到当时的"半成品",对长程一致性的把握更脆弱。
  • AR 已经被 RLHF / SFT / DPO 反复打磨过,对人类偏好的对齐质量目前仍优于扩散语言模型。
  • AR 的 sampling 配方(temperature、top-$p$、repetition penalty)成熟到了"按食谱抄就行",扩散的并行 sampling 还在论文之间互相打架。

9.2 数学推理与代码补全

这是扩散开始反超的战场。代码补全本质是 infilling,扩散原生支持。数学推理则受益于"先写答案再补过程"的灵活生成顺序——这在 LLaDA 的 ablation 里被明确验证。Dr. Raj 在 Lecture 18 留下的"造一个跟 Qwen 一样好的扩散语言模型"的呼吁,最有希望的入口正是这两条赛道。

9.3 编辑与受控生成

"已有一段文本,把它改写得更正式一点"——AR 的标准做法是 instruction-tuning 后用 prompt 引导重写。扩散做法非常自然:把要保留的位置 unmask,要改的位置设为 mask,跑 partial denoising。受控的粒度精确到 token 级,这是 AR 在架构层做不到的事。同样的逻辑也适用于格式约束生成(如 JSON 模板、SQL 填空),扩散是天然的 constrained generation 引擎。

ℹ️ 一句话画像:AR 是"流式作家",从左到右把整篇文章写出来;扩散是"画师",先勾轮廓再补细节,可以局部擦掉重画。两种风格各有适配的任务。

十、开放挑战:扩散语言模型还差什么

9.1 词表规模与转移矩阵

真实 LLM 词表 V ≈ 50K(GPT-2 BPE)到 200K(LLaMA-3)。完整的离散扩散转移矩阵是 V × V,这在内存上完全不可承受。吸收态扩散偷了一个巨大的工程便宜——转移矩阵只有两种行为(保持原 token 或变成 mask),结构非常稀疏。但这种简化也意味着放弃了"token 之间的语义距离"——"book"加噪应该更容易变成"books"或"chapter"才合理,吸收态扩散却一律变 mask。这在词表很大、长尾很长的真实语言上是一个明显的损失。MDLM、LLaDA 都用 mask-only,是承认了这个 trade-off 仍是当下最优选,但研究方向是显然的。

9.2 损失函数仍是开放问题

MDLM 的 simplified ELBO、SEDD 的 score entropy、D3PM 的完整 ELBO ——三种损失在文献里各有支持者。Dr. Raj 在系列结尾说:

"All of these things are possible now once this black box is opened and you realize exactly how diffusion models work from scratch... maybe build your first open-source diffusion language model, which is as good as Qwen." —— Lecture 18

这句话潜台词是:损失函数的设计空间还远没穷尽。每年都有新的 ELBO 变体、加权 schedule、time embedding 方案被提出,没有像 AR 那样"交叉熵 + 因果 mask"般的统治性配方。

9.3 长上下文

AR 在长上下文方面已经走得很远(128K、1M 上下文已落地)。扩散语言模型因为每步要算双向 attention,计算和显存成本是 AR 的 T 倍。在 T = 32、上下文 32K 这种现实需求下,目前的扩散语言模型还吃不消。RingAttention、Mamba 那种"按 token 流式处理"的 trick 在扩散里需要重新发明。

9.4 RLHF 与 alignment

RLHF 在 AR 上的标准流程(PPO / DPO / RLOO)建立在"逐 token 计算 log-likelihood"之上。扩散语言模型的 likelihood 是个 ELBO(下界,非精确),且依赖采到的 mask 子集——把这套搬到 RLHF 框架里需要新的算法。LLaDA 的 SFT 已经有论文,但 RLHF 仍处早期。

十一、回到 Dr. Raj 的开题:语言为什么不用扩散?2025 年的答案

把整章压缩到一句话:

2024 年以前:扩散语言模型只是 academic toy(D3PM、Argmax Flow),困惑度差、scale 上不去。
2024 年:MDLM / SEDD 在 GPT-2 量级追平。
2025 年:LLaDA 在 8B 量级选择性击败 LLaMA-3-8B。
正在发生的:从"AR 是唯一选项"转变为"AR 是一种选项,扩散是另一种、且越来越有竞争力的选项"。

Karpathy 当年那条推文的隐含假设——"语言天然适合 AR"——已经被实验证伪。语言适合 AR 的程度,可能只是因为 AR 范式得到了过去 8 年(GPT 系列 + transformer)几乎全部的工程关注,而扩散在文本上是新生事物。

💡 本书最后一个伏笔:在多模态(图像 + 文本统一生成)里,扩散语言模型的优势会被进一步放大——同一个扩散 backbone 可以同时生成图像 token 和文本 token,AR 范式做不到对称地处理两种模态。如果你看 2025 下半年的 unified diffusion 模型论文(如 Show-o、Transfusion),会发现它们都在押注"扩散是多模态的共同语言"。

十二、扩散语言模型的可视化总结

并行解码:每步 unmask 高置信度位置(cosine schedule) t = T 12/12 mask t = 3 9 mask(cosine:先少) t = 2 5 mask t = 1 2 mask t = 0 完整序列 灰 = [MASK],绿 = 已解码 token。每步选置信度最高的位置一次性 unmask,余下继续遮。 动画演示:第一行 token slot 在循环演示 mask → 半成品 → 最终 unmask 的颜色变化。

十三、把整门课接到这一步

你现在拥有的"知识库存":

  • ch1 给出元问题(为什么文本是 AR)。
  • ch2–ch3:VAE 与 ELBO——扩散损失的祖父。
  • ch6:DDPM——离散时间高斯扩散,建立了"noising / predict noise / denoising"三件套。
  • ch10:score matching——为什么"预测噪声"等价于"学 score"。
  • ch15:SDE / ODE 视角——把扩散统一到连续时间 framework。
  • ch17:classifier-free guidance——可控生成。
  • ch18:latent diffusion——把扩散搬到 VAE 的 latent 空间。
  • ch19:离散扩散一般形式(D3PM)。
  • ch20:吸收态扩散——mask 作为唯一吸收态,是 MDLM/LLaDA 的基础。
  • ch21(本章):把上面所有零件装成 2024–2025 的扩散语言模型,回答 ch1 的开题。
📺 Vizuara《Build a Diffusion Language Model from Scratch》Workshop 开场(Dr. Raj Dandekar)—— 本章主源

十四、where the field is going

站在 2025 年 5 月这个时间点,下面是几个正在被押注的方向,作为本书的结束语:

  1. 统一多模态扩散:图像、文本、音频共用同一个扩散 transformer backbone。Show-o、Transfusion 已经迈出第一步,预期 2025 下半年会有 production-scale 工作。
  2. 嫁接路线扩展:DiffuLLaMA 证明可以"嫁接"——预期会出现 DiffuQwen、DiffuGemini,把更多预训练 LLM 改造成扩散模型。
  3. KV-cache for diffusion:研究"双向 attention 在 mask 比例固定时的可缓存子结构"——这是把扩散单序列推理速度追上 AR 的关键。
  4. 非吸收态离散扩散:放弃"只有 mask 一种吸收态",重新引入 token 之间的语义噪声(uniform diffusion 的高效近似),希望覆盖词表稀疏性的缺陷。
  5. RLHF for diffusion LM:把 PPO / DPO 重新推导到扩散似然下,跑出第一个 RLHF 过的 8B 量级扩散 chat 模型。
  6. 更激进的:non-token-based diffusion:跳过 tokenization,直接在 byte / character / 甚至 raw audio 上做扩散——这在 AR 范式里几乎不可行(步数太多),但在扩散范式里因为 T 与 L 解耦而变得现实。
🟡 教材外结束语
如果你认真读完了这本书的 21 章,你已经具备了"看懂任何 2026 年新出的扩散语言模型论文"的全部前置数学——ELBO(ch3)、score(ch10)、SDE(ch15)、guidance(ch17)、离散扩散(ch19–20)、masked 训练 + 并行解码(ch21)。剩下的差距只是论文里的具体工程细节。

Dr. Raj 在系列结尾说:"Maybe build your first open-source diffusion language model, which is as good as Qwen." 这句话对你不再是夸张——它是下一周末的副业项目。

本章要记住的(讲师亲口给的核心 + 2025 的现实)

  1. 扩散语言模型 = AR transformer × 80% + 三件套(加噪 / 预测 / 去噪) × 20%。讲师原话:"you can think of a diffusion language model as these key characteristics plus 80% of an ARM architecture."
  2. 训练目标:MDLM 简化 ELBO = 在 mask 子集上的 $1/\alpha_t$ 加权交叉熵。$\alpha_t$ 是 schedule(线性 / 余弦)下被遮 token 的比例。
  3. 并行解码:从全 mask 出发,每步用同一个 transformer 给所有 mask 位置打 logits,取 top-$k_t$ 最有把握的位置一次 unmask。T 步 ≪ L 步,理论速度比是 L/T。
  4. 但真实速度要看 batch 大小和序列长度——单序列 AR + KV cache 仍占优;大 batch、长序列、推理服务场景下扩散开始反超。
  5. 结构性优势远不止速度:双向上下文破除反转诅咒、原生 infilling、任意位置可编辑、数学/推理实证强(LLaDA-8B 在 GSM8K 上击败 LLaMA-3-8B-Instruct)。
  6. 2024 年的两大开源里程碑:MDLM(吸收态 + 连续时间,GPT-2 量级追平 AR) + SEDD(score entropy 视角,ICML best paper)。Dr. Raj 在视频里反复 cite 的就是 MDLM。
  7. 2025 年的关键信号:LLaDA-8B 是首个真正 LLM 量级、从头训的扩散语言模型,开源权重。DiffuLLaMA 证明可以"嫁接"——预训练 LLaMA 改 head + 双向 attention 继续训。
  8. 回答 ch1 的元问题:Karpathy 问"语言为什么不用扩散"。2025 年的回答是"它已经开始用了"——AR 的统治地位在动摇。