Score Matching 理论基础深度解析

1. 概述

Score Matching是统计学习中估计概率分布分数函数的核心方法，在扩散生成模型中扮演着关键角色。¹

核心问题：给定从未知分布 $p^{\ast }$ 采样的观测数据，如何估计其分数函数 ${\nabla }_x\log p^{\ast }(x)$？

主要方法：

• 去噪Score Matching (DSM)：通过条件高斯噪声构建可计算目标
• 隐式Score Matching (ISM)：直接优化分数匹配损失

本专题深入分析两种方法的数学基础、理论性质及其相互联系。

---

2. 问题形式化

2.1 分数函数定义

对于一个概率密度函数 $p(x)$，其分数函数（score function）定义为：

$s^{\ast }(x)={\nabla }_x\log p(x)=\frac{{\nabla }_{x}p(x)}{p(x)}$

分数函数具有以下重要性质：

• 不依赖于归一化常数
• 方向指向密度增加最快的方向
• 可用于Langevin动力学采样

2.2 Fisher散度

Fisher散度定义为分数函数估计量与真实分数函数之间的期望平方误差：

$F(p,\hat{p})={\mathbb{E}}_{x\sim p}\left[\frac{1}{2}\Vert s_{\theta }(x)-{\nabla }_x\log p(x){\Vert }^2\right]$

其中 $s_{\theta }(x)={\nabla }_x\log p_{\theta }(x)$ 是模型分数函数。

关键洞察：Fisher散度仅依赖于模型的分数函数，不依赖于归一化常数，使得即使 $p_{\theta }$ 是未归一化的也能进行优化。

---

3. 去噪Score Matching

3.1 条件高斯噪声模型

考虑对原始数据 $x_0\sim p_{data}$ 添加高斯噪声：

$x_t=x_0+{\sigma }_t\epsilon ,\epsilon \sim \mathcal{N}(0,I)$

其中 ${\sigma }_t$ 是噪声标准差，$t\in [0,T]$。

噪声扰动分布为：

$p_{sigma}(x_t|x_0)=\mathcal{N}(x_t;x_0,{\sigma }_t^{2}I)$

3.2 去噪Score Matching目标

定理：去噪Score Matching的损失函数等价于Fisher散度的加权版本。

证明：对于噪声扰动分布 $p_{sigma}(x_t|x_0)=\mathcal{N}(x_t;x_0,{\sigma }_t^{2}I)$，有：

${\nabla }_{x_t}\log p_{sigma}(x_t|x_0)=-\frac{x_t-x_0}{{\sigma }_t^2}$

定义去噪模型 $D_{\theta }(x_t,{\sigma }_t)$ 预测干净数据 $x_0$，则：

$s_{\theta }(x_t)={\nabla }_{x_t}\log p_{\theta }(x_t)=-\frac{x_t-D_{\theta }(x_t,{\sigma }_t)}{{\sigma }_t^2}$

去噪Score Matching损失：

${\mathcal{L}}_{DSM}(\theta )={\mathbb{E}}_{x_0\sim p_{data},t,\epsilon }\left[\frac{1}{2{\sigma }_t^2}\Vert x_0-D_{\theta }(x_t,{\sigma }_t){\Vert }^2\right]$

3.3 与原始Score Matching的联系

定理（Vincent, 2011）：在适当的正则化条件下，去噪Score Matching目标与Fisher散度只相差一个不依赖 $\theta$ 的常数项。

这一结果表明DSM可以通过简单的去噪任务隐式地优化分数匹配目标。

---

4. 隐式Score Matching

4.1 原始目标函数

隐式Score Matching（Hyvärinen, 2005）直接优化以下目标：

${\mathcal{L}}_{ISM}(\theta )={\mathbb{E}}_{x\sim p_{data}}\left[\text{tr}({\nabla }_x{s}_{\theta }(x))+\frac{1}{2}\Vert s_{\theta }(x){\Vert }^2\right]$

其中 $s_{\theta }(x)={\nabla }_x\log p_{\theta }(x)$，$\text{tr}(\cdot )$ 表示矩阵迹。

推导：从Fisher散度出发，通过分部积分得到ISM目标。

4.2 优势与局限

优势：

• 不需要添加噪声
• 可以处理非高斯噪声模型
• 理论上更直接

局限：

• 需要计算Hessian迹（计算开销大）
• 对模型架构有限制（需要显式计算梯度）

4.3 稳定性分析

定理：对于正确指定的模型，ISM估计量是相合的且渐近正态的。

然而，当模型错误指定时，ISM可能产生不一致的估计，特别是对于多峰分布。

---

5. 收敛率理论

5.1 低维流形假设

假设数据分布 $p_{data}$ 支撑在 $d$ 维欧几里得空间中的 $k$ 维流形上（$k\ll d$）。

定义（流形假设）：真实数据分布的支撑集是一个低维光滑流形，噪声垂直于该流形。

5.2 去噪Score Matching的收敛率

定理（Oko et al., 2023）：假设数据分布满足流形假设，则去噪Score Matching的估计误差满足：

$\mathbb{E}[\Vert s_{\theta }(x)-{\nabla }_x\log p_{sigma}(x){\Vert }^2]=O\left(\frac{1}{n}+{\sigma }^2\right)$

其中 $n$ 是样本数，$\sigma$ 是噪声水平。

5.3 自适应收敛率

定理（隐式vs去噪Score Matching）：在低维流形结构下：

1. 隐式Score Matching能够自适应流形维度
2. 在相同收敛率下，隐式方法可以达到与去噪方法相同的精度
3. 两者在温和条件下都避免了维数灾难

5.4 Log-density Hessian估计

Gagliardo-Nirenberg型不等式：对于光滑函数 $f:{\mathbb{R}}^d\to \mathbb{R}$，有：

$\Vert {\nabla }^{2}f{\Vert }_{L^2}\le C\cdot \Vert \nabla f{\Vert }_{L^2}^{1-\alpha }\cdot \Vert \Delta f{\Vert }_{L^2}^{\alpha }$

其中 $\alpha \in [0,1]$ 依赖于维度关系。

应用：这一不等式允许通过分数函数估计log-density的Hessian：

${\nabla }_x^2\log p(x)\approx {\nabla }_x{s}_{\theta }(x)$

定理：在适当的正则性条件下，去噪分数匹配估计 $\hat{s}$ 满足：

$\mathbb{E}[\Vert {\nabla }^2\log p-\nabla \hat{s}{\Vert }^2]=O\left(\frac{1}{n^{2/(2+k)}}\right)$

这一收敛率优于在高维空间中直接估计Hessian的速率。

---

6. 两种方法的统一视角

6.1 目标函数的等价性

定理：对于条件高斯噪声模型，DSM和ISM的目标函数在期望意义下是等价的（差一个常数）。

6.2 数值稳定性比较

方法	优势	劣势
DSM	数值稳定、易于实现、不需要Hessian	需要选择噪声调度
ISM	理论基础清晰、可处理非高斯噪声	计算Hessian开销大

6.3 实践选择指南

建议：

• 大多数实践场景：使用DSM（Diffusion Models默认）
• 理论分析场景：使用ISM
• 非高斯噪声场景：使用ISM的变体

---

7. ODE采样器收敛性

7.1 概率流ODE

基于分数函数的确定性采样可以通过概率流常微分方程实现：

$\frac{dx(t)}{dt}=-{\nabla }_x\log {\tilde{p}}_t(x(t))$

其中 ${\tilde{p}}_t$ 是模型在学习过程中估计的分布。

7.2 收敛保证

定理：假设分数估计满足 $\Vert \hat{s}(x)-{\nabla }_x\log p(x)\Vert \le ϵ$，则ODE采样器生成的分布与真实分布的总变差距离满足：

$d_{TV}(\hat{\mu },p)\le C\cdot ϵ$

其中 $C$ 是与时间区间相关的常数。

7.3 Hessian估计对ODE的影响

引理：准确估计 ${\nabla }^2\log p(x)$ 可以改善ODE的数值稳定性，特别是对于曲率较大的区域。

---

8. 实践实现

8.1 DSM PyTorch实现

import torch
import torch.nn as nn
 
class ScoreMatchingLoss(nn.Module):
    """去噪Score Matching损失函数"""
    
    def __init__(self, sigma_min=0.01, sigma_max=50.0, num_sigmas=10):
        super().__init__()
        self.sigma_min = sigma_min
        self.sigma_max = sigma_max
        self.num_sigmas = num_sigmas
        # 对数线性噪声调度
        self.sigmas = torch.exp(
            torch.linspace(torch.log(sigma_min), torch.log(sigma_max), num_sigmas)
        )
    
    def forward(self, denoiser, x_real):
        """
        Args:
            denoiser: 去噪网络 D(x_t, sigma)
            x_real: 真实数据样本
        Returns:
            DSM损失值
        """
        device = x_real.device
        batch_size = x_real.shape[0]
        
        # 随机选择噪声水平
        sigmas = self.sigmas.to(device).float()
        sigma_idx = torch.randint(0, len(sigmas), (batch_size,), device=device)
        sigma = sigmas[sigma_idx].reshape(-1, 1, 1, 1)
        
        # 添加噪声
        noise = torch.randn_like(x_real)
        x_noisy = x_real + sigma * noise
        
        # 预测干净数据
        x_pred = denoiser(x_noisy, sigma)
        
        # DSM损失
        loss = ((x_real - x_pred) ** 2 / sigma ** 2).view(batch_size, -1).sum(dim=1)
        
        # 加权平均
        return loss.mean()

8.2 ISM近似实现

def implicit_score_matching_approx(model, x, eps=1e-5):
    """
    隐式Score Matching的实用近似
    通过有限差分估计Hessian迹
    """
    x.requires_grad_(True)
    
    # 分数函数
    log_prob = model(x)
    score = torch.autograd.grad(log_prob.sum(), x, create_graph=True)[0]
    
    # 估计 tr(H(log p))
    # 使用Hutchinson方法
    u = torch.randn_like(x)
    grad_u = torch.autograd.grad(
        score.sum(), x, grad_outputs=u, create_graph=True
    )[0]
    hvp = torch.autograd.grad(grad_u.sum(), x, grad_outputs=u)[0]
    trace_est = (u * hvp).sum(dim=-1)
    
    return (trace_est + 0.5 * (score ** 2).sum(dim=-1)).mean()

---

9. 理论前沿

9.1 高维非渐近理论

最近的进展提供了非渐近收敛率：

定理（通用设置）：对于 $d$ 维数据，$n$ 个样本，模型族 $\mathcal{F}$，有：

$\mathbb{E}[\mathcal{L}(s_{\theta })-\mathcal{L}(s^{\ast })]\le C\cdot \sqrt{\frac{\log n}{n}}$

其中 $C$ 与模型复杂度相关。

9.2 自适应维度估计

开放问题：能否在不知道流形维度的情况下获得最优收敛率？

最新进展：基于聚合的方法可以在未知维度的情况下实现近乎最优的收敛率。

9.3 计算效率

• 随机Hessian估计：使用Hutchinson方法将计算复杂度从 $O(d^2)$ 降至 $O(d)$
• 谱归一化：改善数值稳定性

---

10. 总结

Score Matching是连接统计学习与生成模型的理论桥梁。本专题的核心要点：

1. Fisher散度提供了估计分数函数的统一优化目标
2. 去噪Score Matching通过条件高斯模型实现了实用的训练目标
3. 隐式Score Matching在理论上更直接，但计算代价更高
4. 收敛率理论表明两种方法都能自适应流形低维结构
5. Hessian估计对于ODE采样器的收敛性至关重要

---

交叉引用

与本文相关的主题：

• Score Matching与SDE - 随机微分方程视角下的分数匹配
• 分数学习与几何理论 - 流形假设下的尺度分离
• 扩散模型理论 - 扩散模型的理论基础
• 扩散模型泛化理论 - 泛化行为分析
• 去噪Score Matching学习曲线 - 泛化与记忆的理论分析

---

参考文献

Footnotes

1. Hyvärinen, A. (2005). Estimation of non-normalized statistical models by score matching. Journal of Machine Learning Research, 6, 695-709. ↩