扩散模型PDE理论与收敛性分析

概述

扩散模型的数学基础植根于随机微分方程（SDE）和偏微分方程（PDE）理论。近年来，研究者们建立了严格的PDE框架来理解扩散模型的收敛性、稳定性和生成质量。本专题将从三个角度深入分析这一理论体系：Li-Yau不等式与Fokker-Planck动力学、Wasserstein距离下的收敛保证、以及高斯分布的精确分析。

---

1. 概率流与反向时间SDE

1.1 前向过程的形式化

扩散模型的前向过程是向数据逐渐添加噪声的马尔可夫过程，可以用SDE描述：

$$d\mathbf{x}(t)=\mathbf{f}(\mathbf{x}(t),t)dt+g(t)d\mathbf{w},t\in [0,T]$$

其中：

• $\mathbf{w}$ 是标准布朗运动
• $\mathbf{f}(\cdot ,t)$ 是漂移函数（drift）
• $g(t)$ 是扩散系数（diffusion coefficient）

1.2 两种常用形式

方差保持（Variance Preserving, VP）

$$\mathbf{f}(\mathbf{x},t)=-\frac{1}{2}\beta (t)\mathbf{x},g(t)=\sqrt{\beta (t)}$$

初始分布 $p_0=p_{\text{data}}$，最终分布 $p_T\approx \mathcal{N}(0,I)$。

方差爆炸（Variance Exploding, VE）

$$\mathbf{f}(\mathbf{x},t)=0,g(t)={\sigma }^t$$

初始分布 $p_0=p_{\text{data}}$，最终分布 $p_T$ 趋于均匀分布。

1.3 反向时间SDE

根据Itô时间反转定理，反向过程满足：

$$d\mathbf{x}(t)=\underset{\text{effective drift}}{\underbrace{\left[\mathbf{f}(\mathbf{x}(t),T-t)-g(T-t{)}^2{\nabla }_{\mathbf{x}}\log p_{T-t}(\mathbf{x}(t))\right]}}dt+g(T-t)d\mathbf{w}$$

关键观察：反向漂移项包含score函数 ${\nabla }_{\mathbf{x}}\log p_{T-t}(\mathbf{x})$，这正是神经网络需要学习的量。

1.4 概率流ODE

与随机反向SDE等价的概率流常微分方程（ODE）为：

$$\frac{d\mathbf{x}(t)}{dt}=\mathbf{f}(\mathbf{x}(t),T-t)-\frac{1}{2}g(T-t{)}^2{\nabla }_{\mathbf{x}}\log p_{T-t}(\mathbf{x}(t))$$

这个ODE具有以下特性：

• 确定性：完全确定性，无随机项
• 相同边缘分布：与SDE具有相同的边缘分布 $p_t$
• 适合数值求解：可使用更大的步长（如DDIM）

---

2. Li-Yau不等式与Fokker-Planck动力学

2.1 Fokker-Planck方程

对于前向过程，Fokker-Planck方程描述了分布的演化：

$$\frac{\partial p_t(\mathbf{x})}{\partial t}=-\nabla \cdot (\mathbf{f}(\mathbf{x},t)p_t(\mathbf{x}))+\frac{1}{2}g(t{)}^2\Delta p_t(\mathbf{x})$$

对于VP形式，可以简化为：

$$\frac{\partial p_t(\mathbf{x})}{\partial t}=\frac{1}{2}\beta (t)\nabla \cdot (\mathbf{x}{p}_t(\mathbf{x}))+\frac{1}{2}\beta (t)\Delta p_t(\mathbf{x})$$

2.2 Li-Yau不等式

Li-Yau不等式是Riemannian几何中的经典结果，近年来被扩展到分析扩散模型的Fokker-Planck动力学。¹

经典Li-Yau不等式（对于热方程）：

$$\frac{\partial }{\partial t}\log p_t\le -\frac{1}{2t}\log (2\pi t)-\frac{d}{2}$$

扩散模型中的扩展：在适当的条件下，可以建立类似的不等式来描述score函数的演化。

2.3 关键理论结果

arXiv:2511.05940建立了以下关键结果：

定理1（Fokker-Planck动力学适定性）

在光滑初始条件下，Fokker-Planck方程存在唯一光滑解 $p_t(\mathbf{x})$。

定理2（$L^p$稳定性估计）

设 $p_t$ 和 $q_t$ 是两个Fokker-Planck方程的解，则：

$$\Vert p_t-q_t{\Vert }_{L^p}\le C\cdot e^{\lambda t}\Vert p_0-q_0{\Vert }_{L^p}$$

其中 $\lambda$ 是与漂移和扩散系数相关的常数。

2.4 流形集中现象

最重要的理论发现之一是流形集中（Manifold Concentration）：

定理：在精确score指导下，扩散模型的反向轨迹以 $\sqrt{t}$ 的速率集中在数据流形上（当 $t\to 0$ 时）。

数学表述：

$$\mathbb{P}\left[\text{dist}({\mathbf{x}}_t,\mathcal{M})>ϵ\right]\le C\cdot \exp \left(-\frac{{ϵ}^2}{2{\sigma }_t^2}\right)$$

其中 $\mathcal{M}$ 是数据流形，${\sigma }_t^2=1-{\bar{\alpha }}_t$ 是时间步 $t$ 的噪声方差。

这为扩散模型能够生成高质量且忠于原始数据分布的样本提供了严格的理论保证。

---

3. Wasserstein收敛保证

3.1 Wasserstein距离

Wasserstein-2距离定义为：

$$W_2(p,q)={\left(\underset{\gamma \in \Gamma (p,q)}{\inf }\int \Vert \mathbf{x}-\mathbf{y}{\Vert }^{2}d\gamma (\mathbf{x},\mathbf{y})\right)}^{1/2}$$

其中 $\Gamma (p,q)$ 是边缘分布为 $p$ 和 $q$ 的所有耦合分布集合。

3.2 高斯分布精确分析

arXiv:2405.14250的论文对高斯分布情形下扩散模型的误差进行了精确分析。

定理（闭式解）

对于高斯目标分布，前向SDE和概率流ODE都有解析解：

前向过程：

$$p_t=\mathcal{N}\left(\mathbf{x};\mathbf{\mu }(t),\mathbf{\Sigma }(t)\right)$$

其中均值和协方差满足ODE：

$$\dot{\mathbf{\mu }}=-\frac{1}{2}\beta (t)\mathbf{\mu },\dot{\mathbf{\Sigma }}=-\beta (t)\mathbf{\Sigma }+\beta (t)I$$

反向过程（精确score）：

$$p({\mathbf{x}}_s|{\mathbf{x}}_t)=\mathcal{N}\left({\mathbf{x}}_s;{\mathbf{\mu }}_{s|t},{\mathbf{\Sigma }}_{s|t}\right)$$

3.3 精确Wasserstein误差

对于任意数值格式，可以计算精确的Wasserstein误差：

$$W_2^2(p_{\text{target}},p_{\text{sampled}})=\text{tr}\left({\mathbf{\Sigma }}_{\text{target}}+{\mathbf{\Sigma }}_{\text{sampled}}-2{\left({\mathbf{\Sigma }}_{\text{target}}^{1/2}{\mathbf{\Sigma }}_{\text{sampled}}{\mathbf{\Sigma }}_{\text{target}}^{1/2}\right)}^{1/2}\right)+\Vert {\mathbf{\mu }}_{\text{target}}-{\mathbf{\mu }}_{\text{sampled}}{\Vert }^2$$

这一精确公式使得可以直接在数据空间监控收敛性，而不仅限于Inception特征空间。

3.4 半凸分布的收敛保证

arXiv:2512.05092建立了针对半凸分布的Wasserstein-2收敛保证：

定理：设目标分布 $p^{\ast }$ 满足 $\lambda$-半凸条件（$\lambda >0$），则使用精确score的反向采样满足：

$$W_2(p_t,p^{\ast })\le e^{-\lambda t}\cdot W_2(p_0,p^{\ast })$$

关键创新：这是首次在半凸分布且梯度可能不连续的情况下给出非渐近的Wasserstein-2收敛保证。

3.5 维度依赖分析

收敛速率的维度依赖为：

$$W_2(p_T,p^{\ast })\le \underset{\text{半凸衰减}}{\underbrace{e^{-\lambda T}}}\cdot \underset{\text{维度因子}}{\underbrace{O(\sqrt{d})}}\cdot W_2(p_0,p^{\ast })$$

这个 $O(\sqrt{d})$ 的维度依赖是最优的，在某些情况下无法进一步改进。

---

4. 采样算法的收敛理论

4.1 DDPM的收敛性

标准DDPM采样的收敛性分析：

设使用 $N$ 步采样，每步使用Euler-Maruyama离散化。则：

$$W_2(p_{{\hat{\mathbf{x}}}_0},p_{{\mathbf{x}}_0})\le \underset{\text{离散化误差}}{\underbrace{\frac{C}{\sqrt{N}}}}+\underset{\text{初始误差}}{\underbrace{e^{-\lambda T}\cdot W_2(p_{\text{data}},\mathcal{N}(0,I))}}$$

4.2 DDIM的收敛性

DDIM通过调整噪声调度实现更少的采样步数。设步长为 $\Delta t$：

$$W_2(p_{{\hat{\mathbf{x}}}_0},p_{{\mathbf{x}}_0})\le C\cdot \Delta t+o(\Delta t)$$

4.3 COLT 2024加速理论

论文 Provable Acceleration of Diffusion Models 提出了基于随机Runge-Kutta方法的扩散模型加速采样算法。

主要结果：

在KL散度意义下达到 $\tilde{O}(d/{\epsilon }^2)$ 的样本复杂度，其中：

• $d$ 是数据维度
• $\epsilon$ 是目标误差
• $\tilde{O}$ 隐藏对数因子

算法：使用随机Runge-Kutta方法近似反向SDE，关键在于选择合适的随机化策略来减小方差。

---

5. 连续极限与离散化的数学基础

5.1 连续极限的定义

当步数 $T\to \infty$ 且步长 $\Delta t\to 0$ 时，离散扩散过程收敛到连续SDE：

$$\underset{\Delta t\to 0}{\lim }{\text{Diffusion}}_{\Delta t}\stackrel{\text{in distribution}}{\to }\text{SDE}$$

5.2 弱收敛条件

离散化格式弱收敛到连续SDE的条件：

条件	描述
Itô-Taylor展开	高阶项截断误差的控制
稳定性	格式在适当意义下稳定
一致性	当步长趋于0时，离散格式趋向连续格式

5.3 常用数值格式

Euler-Maruyama（DDPM使用）

$${\mathbf{x}}_{t-\Delta t}={\mathbf{x}}_t-\left[\mathbf{f}({\mathbf{x}}_t,t)-g(t{)}^2\nabla \log p_t({\mathbf{x}}_t)\right]\Delta t+g(t)\sqrt{\Delta t}\cdot \mathbf{ϵ}$$

Milstein方法（更高阶）

$${\mathbf{x}}_{t-\Delta t}={\mathbf{x}}_t+\text{drift}+\text{diffusion terms}+\frac{1}{2}g(t)g^{\prime }(t)(\Vert \mathbf{ϵ}{\Vert }^2-1)\Delta t$$

5.4 步长选择

最优步长选择满足：

$$\Delta t^{\ast }\approx {\left(\frac{\epsilon }{C\cdot \sqrt{d}}\right)}^{2/3}$$

其中 $\epsilon$ 是目标误差，$C$ 是与问题相关的常数。

---

6. 分数匹配与密度估计的渐近效率

6.1 从Score估计到密度估计

arXiv:2504.05161建立了从Score Estimation到参数估计和密度估计的约化框架。

定理（渐近效率）

在温和条件下，DDPM中的去噪分数匹配具有渐近效率，即估计量：

1. 渐近正态：$\sqrt{n}(\hat{\mathbf{\theta }}-{\mathbf{\theta }}^{\ast })\Rightarrow \mathcal{N}(0,\mathbf{\Sigma })$
2. 最优协方差：协方差矩阵 $\mathbf{\Sigma }$ 等于Fisher信息矩阵的逆

6.2 Fisher信息与Score匹配

去噪分数匹配的Fisher信息：

$$\mathcal{I}(\mathbf{\theta })=\mathbb{E}\left[{\nabla }_{\mathbf{\theta }}\log p_{\mathbf{\theta }}(\mathbf{x}){\nabla }_{\mathbf{\theta }}\log p_{\mathbf{\theta }}(\mathbf{x}{)}^T\right]$$

渐近方差下界：

$$\underset{n\to \infty }{\lim }n\cdot \text{Var}(\hat{\mathbf{\theta }})\ge {\mathcal{I}}^{-1}({\mathbf{\theta }}^{\ast })$$

6.3 实践意义

渐近效率意味着：

• Score匹配的估计是最优的
• 置信区间的构造是有效的
• 在大样本下，估计误差主要由数据信息量决定

---

7. 流形假设下的严格理论

7.1 数据流形模型

设数据分布在 $d$ 维欧氏空间中的 $m$ 维光滑Riemann流形 $\mathcal{M}$ 上（$m\ll d$）：

$${\mathbf{x}}_i\sim {\pi }_{\mathcal{M}},\mathcal{M}\subset {\mathbb{R}}^d,\dim (\mathcal{M})=m$$

7.2 流形上的扩散过程

在流形上定义的扩散过程满足：

$$d\mathbf{x}(t)=-\nabla V(\mathbf{x}(t))dt+\sqrt{2}d{\mathbf{w}}_{\mathcal{M}}$$

其中 ${\mathbf{w}}_{\mathcal{M}}$ 是流形上的布朗运动，$V$ 是势函数。

7.3 谱分解与特征值

流形上的Laplace-Beltrami算子的特征值 ${\lambda }_k$ 满足Weyl定律：

$${\lambda }_k\sim C\cdot {\left(\frac{k}{\text{Vol}(\mathcal{M})}\right)}^{2/m}$$

这将流形几何与扩散过程的学习动力学联系起来。

7.4 收敛速率与几何

流形性质	特征值增长	收敛速率
平坦	${\lambda }_k\propto k^{2/d}$	快
曲率正	${\lambda }_k$ 增大	较快
曲率负	${\lambda }_k$ 减小	较慢

---

8. 计算方法

8.1 大规模Hessian分析

PyHessian等工具可以分析扩散模型的Hessian谱：

import torch
from pyhessian import hessian
 
def analyze_hessian_spectrum(model, dataloader, device='cuda'):
    """分析损失函数的Hessian谱"""
    model.eval()
    
    # 获取一个小batch
    for batch in dataloader:
        x = batch[0].to(device)
        break
    
    # 计算Hessian
    hessian_comp = hessian(model, model.training_loss(x))
    
    # 特征值分解
    eigenvalues, eigenvectors = hessian_comp.eigenvalues()
    
    return eigenvalues

8.2 有效维度的估计

使用幂迭代法估计有效维度：

def estimate_effective_dimension(model, n_components=100):
    """估计模型的有效维度"""
    # 收集梯度协方差
    grad_cov = []
    
    for batch in dataloader:
        model.zero_grad()
        loss = model.training_loss(batch[0])
        loss.backward()
        
        grads = []
        for p in model.parameters():
            if p.grad is not None:
                grads.append(p.grad.flatten())
        
        grad_cov.append(torch.stack(grads))
    
    grad_cov = torch.stack(grad_cov)
    
    # 协方差矩阵的特征值
    cov = torch.cov(grad_cov.T)
    eigenvalues = torch.linalg.eigvalsh(cov)
    
    # 有效维度（90%能量）
    cumsum = torch.cumsum(eigenvalues.flip(0), 0)
    total = cumsum[-1]
    effective_dim = torch.where(cumsum >= 0.9 * total)[0][0] + 1
    
    return effective_dim.item(), eigenvalues.flip(0)[:n_components]

8.3 Wasserstein距离估计

使用Sinkhorn算法估计Wasserstein距离：

import ot
 
def estimate_wasserstein_distance(samples1, samples2, reg=0.01):
    """
    使用Sinkhorn算法估计Wasserstein-1距离
    
    samples1, samples2: torch.Tensor of shape (n, d)
    """
    # 转换为numpy
    a = np.ones(samples1.shape[0]) / samples1.shape[0]
    b = np.ones(samples2.shape[0]) / samples2.shape[0]
    
    # 计算成本矩阵
    M = ot.dist(samples1.cpu().numpy(), samples2.cpu().numpy())
    
    # Sinkhorn距离
    wasserstein_dist = ot.sinkhorn2(a, b, M, reg)
    
    return wasserstein_dist

---

9. 总结与展望

9.1 核心理论结果

结果	条件	意义
Li-Yau不等式	光滑分布	稳定性保证
流形集中	精确score	质量保证
$O(\sqrt{d})$ 收敛	半凸分布	无维度灾难
渐近效率	温和条件	最优估计

9.2 理论与实践的桥梁

理论结果                              实践应用
─────────────────────────────────────────────────────
Li-Yau不等式         →    网络架构设计稳定性分析
流形集中             →    生成质量的理论保证
Wasserstein收敛      →    采样步数选择
渐近效率            →    训练策略优化

9.3 开放问题

1. 非光滑分布：对于存在尖锐边缘或奇点的分布，收敛理论如何扩展？
2. 计算复杂度：理论最优的采样步数与实际可实现步数之间的差距如何缩小？
3. 条件生成：条件扩散模型的PDE理论如何建立？
4. 多模态：多模态扩散模型的收敛理论面临哪些特殊挑战？

9.4 未来方向

1. 自适应格式：根据分布特性自动选择最优离散化格式
2. 二阶方法：开发具有更快收敛速率的高阶采样算法
3. 非渐近理论：建立更精确的非渐近误差界
4. 应用扩展：将理论扩展到视频、3D等新领域

---

参考资料

Footnotes

1. 本文档主要内容基于 A PDE Perspective on Generative Diffusion Models, arXiv:2511.05940. https://arxiv.org/abs/2511.05940 ↩