扩散模型变分推断理论

扩散模型（Diffusion Models）是当前生成式AI的核心技术之一。从变分推断的视角理解扩散模型，可以建立它与VAE、Score Matching的深层联系，形成统一的理论框架。

1. 从ELBO到扩散模型

1.1 变分推断基础回顾

给定观测数据 $\mathbf{x}$ 和潜在变量 $\mathbf{z}$，目标是最大化对数似然 $\log p(\mathbf{x})$。直接计算困难：

$$p(\mathbf{x})=\int p(\mathbf{x},\mathbf{z})d\mathbf{z}$$

引入近似后验 $q_{\varphi }(\mathbf{z}|\mathbf{x})$，可以推导出证据下界（ELBO）¹：

$$\log p(\mathbf{x})\ge {\mathbb{E}}_{q_{\varphi }(\mathbf{z}|\mathbf{x})}\left[\log \frac{p(\mathbf{x},\mathbf{z})}{q_{\varphi }(\mathbf{z}|\mathbf{x})}\right]$$

展开为：

$$\mathcal{L}=\underset{\text{重构项}}{\underbrace{{\mathbb{E}}_{q_{\varphi }(\mathbf{z}|\mathbf{x})}[\log p(\mathbf{x}|\mathbf{z})]}}-\underset{\text{正则化项}}{\underbrace{D_{\text{KL}}(q_{\varphi }(\mathbf{z}|\mathbf{x})\Vert p(\mathbf{z}))}}$$

1.2 分层VAE视角

扩散模型可以视为无限深的分层VAE¹：

传统VAE:                    扩散模型（无限深VAE）:
┌────────┐                 ┌────────┐
│  x_0   │                 │  x_0   │ ← 真实数据
└───┬────┘                 └───┬────┘
    │ q(z|x)                  │ q(x_1|x_0)
┌───▼────┐                 ┌───▼────┐
│  z     │                 │  x_1   │ ← 轻微噪声
└───┬────┘                 └───┬────┘
    │ p(x|z)                  │ q(x_2|x_1)
┌───▼────┐                 ┌───▼────┐
│  x     │                 │  x_2   │ ← 更多噪声
└────────┘                 └───┬────┘
                               │     ...
                            ┌──▼────┐
                            │  x_T  │ ← 完全噪声 (标准高斯)
                            └────────┘

1.3 扩散模型的三条核心假设

变分扩散模型（VDM）有三个关键限制¹²：

1. 维度相等：潜在变量维度等于数据维度
   $x_t\in {\mathbb{R}}^d\forall t$

2. 编码器结构固定：每个层级是线性高斯模型
   $q({\mathbf{x}}_t|{\mathbf{x}}_{t-1})=\mathcal{N}({\mathbf{x}}_t;\sqrt{{\alpha }_t}{\mathbf{x}}_{t-1},(1-{\alpha }_t)\mathbf{I})$

3. 最终分布为标准高斯：
   $q({\mathbf{x}}_T)\approx \mathcal{N}(0,\mathbf{I})$

2. VDM的ELBO推导

2.1 马尔可夫HVAE的ELBO

设扩散步数为 $T$，定义：

• 联合分布（生成过程）：
  $p({\mathbf{x}}_{0:T})=p({\mathbf{x}}_T){\prod }_{t=1}^T{p}_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)$

• 变分后验（前向过程）：
  $q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)={\prod }_{t=1}^{T}q({\mathbf{x}}_t|{\mathbf{x}}_{t-1})$

2.2 ELBO的分解

使用Jensen不等式：

$$\log p({\mathbf{x}}_0)\ge {\mathbb{E}}_q\left[\log \frac{p({\mathbf{x}}_{0:T})}{q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)}\right]$$

展开后得到三项分解：

$$\mathcal{L}=\underset{\text{重构项}}{\underbrace{{\mathbb{E}}_q[\log p({\mathbf{x}}_0|{\mathbf{x}}_1)]}}-\underset{\text{终端KL}}{\underbrace{D_{\text{KL}}(q({\mathbf{x}}_T|{\mathbf{x}}_0)\Vert p({\mathbf{x}}_T))}}-\underset{\text{去噪匹配项}}{\underbrace{\sum _{t=2}^T{D}_{\text{KL}}(q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)\Vert p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t))}}$$

2.3 去噪匹配项的物理意义

关键观察：第 $t$ 个去噪匹配项是真实后验 $q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)$ 与学习到的去噪先验 $p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)$ 之间的KL散度。

根据贝叶斯定理：

$$q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)=\frac{q({\mathbf{x}}_t|{\mathbf{x}}_{t-1})q({\mathbf{x}}_{t-1}|{\mathbf{x}}_0)}{q({\mathbf{x}}_t|{\mathbf{x}}_0)}$$

这意味着：

• 给定 ${\mathbf{x}}_0$ 和 ${\mathbf{x}}_t$，可以计算真实后验
• 训练目标是让 $p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)$ 逼近这个后验

3. 与Score Matching的联系

3.1 分数函数的定义

定义：数据分布 $p(\mathbf{x})$ 的**分数函数（Score Function）**定义为：

$${\nabla }_{\mathbf{x}}\log p(\mathbf{x})$$

它指向概率密度增长最快的方向。

3.2 去噪得分匹配

训练去噪扩散模型等价于去噪得分匹配（Denoising Score Matching）²：

目标函数：

$${\mathcal{L}}_{\text{DSM}}={\mathbb{E}}_{t,{\mathbf{x}}_0,\mathbf{ϵ}}\left[{\Vert \mathbf{ϵ}-\frac{1}{\sqrt{1-{\bar{\alpha }}_t}}\cdot s_{\theta }({\mathbf{x}}_t,t)\Vert }^2\right]$$

其中：

• $\mathbf{ϵ}\sim \mathcal{N}(0,\mathbf{I})$：添加的噪声
• $s_{\theta }({\mathbf{x}}_t,t)$：网络预测的分数函数
• ${\bar{\alpha }}_t$：噪声调度参数

3.3 Tweedie公式

Tweedie公式建立了条件均值与分数函数的联系：

$$\mathbb{E}[{\mathbf{x}}_0|{\mathbf{x}}_t]=\frac{1}{\sqrt{{\bar{\alpha }}_t}}\left({\mathbf{x}}_t+(1-{\bar{\alpha }}_t){\nabla }_{{\mathbf{x}}_t}\log q({\mathbf{x}}_t)\right)$$

这表明：给定加噪观测 ${\mathbf{x}}_t$，可以估计原始数据 ${\mathbf{x}}_0$。

3.4 三种等价形式

Song等人证明以下三种目标函数是等价的²³：

形式	描述
原始ELBO	${\mathbb{E}}_q[\log p_{\theta }({\mathbf{x}}_{0:T})-\log q({\mathbf{x}}_{1:T}\Vert {\mathbf{x}}_0)]$
去噪ELBO	各噪声水平的加权ELBO之和
Score Matching	${\mathbb{E}}_{t,{\mathbf{x}}_0,\mathbf{ϵ}}[\Vert \Vert s_{\theta }({\mathbf{x}}_t,t)-{\nabla }_{{\mathbf{x}}_t}\log q({\mathbf{x}}_t\Vert {\mathbf{x}}_0)\Vert {\Vert }^2]$

4. 方差调度策略

4.1 线性vs余弦调度

线性调度（DDPM原始）：

$${\beta }_t={\beta }_{\min }+t/T\cdot ({\beta }_{\max }-{\beta }_{\min })$$

余弦调度（改进版）：

$${\bar{\alpha }}_t=\frac{1}{2}(1+\cos (\frac{t/T\cdot \pi }{1+s}))$$

余弦调度在实践中表现更好，特别是在高分辨率图像生成中。

4.2 学习vs固定调度

类型	优点	缺点
固定调度	简单稳定	可能非最优
学习调度	更灵活	训练复杂

5. 统一视角：扩散作为变分自编码器

5.1 核心等价性

扩散模型可以完全从变分推断的角度理解¹：

┌─────────────────────────────────────────────────────────┐
│                                                         │
│   ┌─────────┐      VAE        ┌─────────────┐          │
│   │  x_0    │ ◄───────────► │ VAE Encoder │          │
│   │ (数据)   │                │ q(z|x)      │          │
│   └────┬────┘                └──────┬──────┘          │
│        │                              │                │
│        │ 扩散模型 = 无限深的马尔可夫HVAE               │
│        ▼                              ▼                │
│   ┌─────────┐                ┌─────────────┐          │
│   │ x_T     │                │  x_1 (潜在) │          │
│   │ (噪声)   │                │             │          │
│   └─────────┘                └─────────────┘          │
│                                                         │
│   VAE优化：ELBO                                        │
│   扩散优化：去噪得分匹配（ELBO的等价形式）              │
│                                                         │
└─────────────────────────────────────────────────────────┘

5.2 训练目标简化

实践中简化的训练目标：

$${\mathcal{L}}_{\text{simple}}={\mathbb{E}}_{t,{\mathbf{x}}_0,\mathbf{ϵ}}\left[\Vert \Vert \mathbf{ϵ}-{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)\Vert {\Vert }^2\right]$$

这直接预测添加的噪声，与ELBO理论预测的分数函数等价。

5.3 生成过程的变分视角

反向过程 $p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)$ 本身就是变分后验：

$$p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)\approx q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0^{\ast })$$

其中 ${\mathbf{x}}_0^{\ast }$ 是网络估计的原始数据。

6. 进阶理论：连续时间扩散

6.1 SDE视角

当 $T\to \infty$，扩散过程可以表示为随机微分方程（SDE）³：

$$d\mathbf{x}=f(\mathbf{x},t)dt+g(t)d\mathbf{w}$$

其中 $f$ 是漂移函数，$g$ 是扩散系数，$\mathbf{w}$ 是维纳过程。

6.2 ODE形式（概率流）

对应的概率流ODE：

$$d\mathbf{x}=\left[f(\mathbf{x},t)-\frac{1}{2}g(t{)}^2{\nabla }_{\mathbf{x}}\log p_t(\mathbf{x})\right]dt$$

这使得确定性采样成为可能（如DDIM）。

6.3 连续时间ELBO

连续时间ELBO变为：

$${\mathcal{L}}_{\text{cont}}=-{\int }_0^T\frac{1}{2}g(t{)}^2\cdot \mathbb{E}\left[{\Vert s_{\theta }({\mathbf{x}}_t,t)-{\nabla }_{{\mathbf{x}}_t}\log p_{0|t}({\mathbf{x}}_t|{\mathbf{x}}_0)\Vert }^2\right]dt$$

7. 与能量模型的联系

7.1 能量基模型视角

扩散模型的本质是学习能量函数：

$$E_{\theta }(\mathbf{x},t)=\frac{1}{2}\Vert s_{\theta }(\mathbf{x},t){\Vert }^2$$

分数函数是能量函数的梯度：

$$s_{\theta }(\mathbf{x},t)={\nabla }_{\mathbf{x}}\log p_{\theta }(\mathbf{x},t)=-{\nabla }_{\mathbf{x}}{E}_{\theta }(\mathbf{x},t)$$

7.2 朗之万动力学采样

给定学习的分数函数，可以用朗之万动力学生成样本：

$${\mathbf{x}}_{i+1}={\mathbf{x}}_i+\eta {\nabla }_{\mathbf{x}}\log p({\mathbf{x}}_i)+\sqrt{2\eta }\mathbf{ϵ}$$

其中 $\eta$ 是步长，$\mathbf{ϵ}\sim \mathcal{N}(0,\mathbf{I})$。

8. 实践注意事项

8.1 训练稳定性

1. 噪声水平控制：确保 $1-{\bar{\alpha }}_t$ 在合理范围
2. 网络架构：U-Net + time embedding 是标准选择
3. EMA：指数移动平均提高生成质量

8.2 采样步数选择

步数	质量	速度
1000	最优	慢
100	接近最优	中等
20-50	可接受	快
1-10	差（需特殊方法）	很快

8.3 条件生成

通过以下方式实现条件控制：

• Classifier Guidance：额外训练分类器 $p(y|{\mathbf{x}}_t)$
• Classifier-Free Guidance：联合训练条件/无条件模型

---

参考资料

Footnotes

1. Luo C. Understanding Diffusion Models: A Unified Perspective. calvinyluo.com, 2022. ↩ ↩² ↩³ ↩⁴

2. Kingma D P, et al. Variational Diffusion Models. NeurIPS 2021. ↩ ↩² ↩³

3. Song Y, et al. A Variational Perspective on Diffusion-Based Generative Models and Score Matching. NeurIPS 2021. ↩ ↩²