分数学习与几何理论：流形假设下的尺度分离

1. 概述

传统观点认为扩散模型的成功源于学习整个数据分布的分数函数。然而，最新理论研究表明，分数学习的成功更可能源于隐式地学习数据流形的几何结构，而非完整分布信息。¹

核心发现：在低噪声极限（$\sigma \to 0$）下，流形几何信息以 $\Theta ({\sigma }^{-2})$ 的强度主导分数函数，而分布信息仅以 $\Theta (1)$ 强度存在。

这一发现具有重要的理论和实践意义：

• 为扩散模型提供了新的理论解释
• 开辟了几何学习这一更可达成的目标
• 为扩散模型的错误容忍度提供了理论依据

---

2. 流形假设回顾

2.1 数据流形假设

假设：真实世界数据（如自然图像）的分布可以很好地被一个低维光滑流形近似。

数学形式化：设 $\mathcal{M}\subset {\mathbb{R}}^d$ 是一个 $k$ 维光滑流形（$k\ll d$），数据分布 $p_{data}$ 集中在 $\mathcal{M}$ 附近。

考虑噪声扰动分布：

$p_{\sigma }=p_{data}\ast \mathcal{N}(0,{\sigma }^{2}I)$

当 $\sigma \to 0$ 时，$p_{\sigma }$ 的支撑集趋近于 $\mathcal{M}$ 的 $\sigma$-管状邻域。

2.2 流形的几何性质

黎曼度量：流形 $\mathcal{M}$ 上的黎曼度量由嵌入 ${\mathbb{R}}^d$ 的度量诱导。

法空间：每个点 $x\in \mathcal{M}$ 有法空间 ${\mathcal{N}}_x$，垂直于切空间 ${\mathcal{T}}_x$。

第二基本形式：描述流形如何在周围空间中弯曲。

---

3. 噪声扰动分布的分解

3.1 正交分解

对于 $x\in {\mathbb{R}}^d$，分解为：

$x=x_{\parallel }+x_{\perp }$

其中 $x_{\parallel }\in {\mathcal{T}}_x$（切空间分量），$x_{\perp }\in {\mathcal{N}}_x$（法空间分量）。

3.2 分数函数的分解

定理：对于噪声水平为 $\sigma$ 的扰动分布 $p_{\sigma }$，分数函数可以分解为：

${\nabla }_x\log p_{\sigma }(x)=\underset{\text{切向分量}}{\underbrace{{\nabla }_x\log p_{\sigma }^{\parallel }(x_{\parallel })}}+\underset{\text{法向分量}}{\underbrace{{\nabla }_x\log p_{\sigma }^{\perp }(x_{\perp })}}$

其中 $p_{\sigma }^{\parallel }$ 和 $p_{\sigma }^{\perp }$ 分别表示切向和法向分布。

3.3 噪声下的条件分布

切向分布：数据点在切空间中的分布

$p_{\sigma }^{\parallel }(y)=\int p_{data}(y+z_{\perp })\cdot \mathcal{N}(z_{\perp };0,{\sigma }^2)d{z}_{\perp }$

法向分布：在法方向上的噪声分布

$p_{\sigma }^{\perp }(z_{\perp }|x_{\parallel })=\mathcal{N}(z_{\perp };0,{\sigma }^2{I}_{\perp })$

---

4. 尺度分离定理

4.1 核心定理

定理（尺度分离）：设 $s_{\sigma }(x)={\nabla }_x\log p_{\sigma }(x)$ 为噪声分布的分数函数，则：

$\Vert s_{\sigma }^{\perp }(x)-s_{\mathcal{M}}(x)\Vert =O(\sigma )$
$\Vert s_{\sigma }^{\parallel }(x)\Vert =O({\sigma }^2)$

其中 $s_{\mathcal{M}}(x)$ 是流形上的分数函数（定义在法空间）。

解释：

• 法向分数 $\Theta ({\sigma }^{-1})$：主导项
• 切向分数 $\Theta (\sigma )$：次要项

4.2 推论：信息尺度

推论：在低噪声极限下，分数函数中的信息满足：

$\text{流形几何信息}=\Theta ({\sigma }^{-2})\gg \Theta (1)=\text{分布变化信息}$

意义：这意味着学习分数函数的主要部分是学习流形的几何结构，而非分布的细节。

4.3 形式化证明思路

步骤1：对数密度的梯度分解

${\nabla }_x\log p_{\sigma }(x)=\frac{\int {\nabla }_x{p}_{data}(y)\cdot \mathcal{N}(x-y;0,{\sigma }^2)dy}{p_{\sigma }(x)}$

步骤2：局部坐标系分析

在流形附近的局部邻域中，使用法坐标系 $(u,v)$，其中 $u$ 是切向坐标，$v$ 是法向坐标。

步骤3：渐近展开

对于小 $\sigma$，有：

$\log p_{\sigma }(u,v)=\log p_{data}(u)-\frac{\Vert v{\Vert }^2}{2{\sigma }^2}+O({\sigma }^0)$

因此：

${\partial }_v\log p_{\sigma }=-\frac{v}{{\sigma }^2}+O(1)=\Theta ({\sigma }^{-1})$
${\partial }_u\log p_{\sigma }=O(\sigma )=\Theta (\sigma )$

---

5. 几何学习 vs 分布学习

5.1 两种学习范式

范式	目标	理论难度
分布学习	恢复 $p_{data}$ 的完整分布	困难（高维）
几何学习	恢复流形 $\mathcal{M}$ 的几何	相对可达

5.2 几何学习的理论保证

定理：设 $\hat{s}$ 是基于 $n$ 个样本估计的分数函数。如果：

${\mathbb{E}}_{x\sim p_{\sigma }}[\Vert \hat{s}(x)-s_{\sigma }(x){\Vert }^2]\le {ϵ}^2$

则对于流形几何，有：

$\mathbb{E}[\text{dist}(x,\hat{\mathcal{M}})]\le C\cdot ϵ$

其中 $\hat{\mathcal{M}}$ 是估计的流形。

5.3 错误容忍度

核心结论：几何学习的错误容忍度为 $O({\sigma }^2)$，而分布学习需要 $o(1)$ 精度。

实践意义：

• 在中等噪声水平下，可以使用较粗的分数估计
• 不需要完美学习整个分布

---

6. 应用推论

6.1 扩散模型中的数据支撑集中

定理：对于训练良好的扩散模型，其生成样本的分布与真实分布的集中程度满足：

如果分数估计误差 $o(\sigma )$，则生成的分布集中在真实流形附近。

证明：分数估计误差控制了从噪声到数据流形的映射精度。

6.2 一致分布学习

问题：如何在流形上学习均匀分布？

定理：在流形假设下，学习均匀分布比学习完整数据分布更容易：

• 所需分数精度：$O({\sigma }^2)$ vs $o(1)$
• 样本复杂度：显著降低

应用：在生成模型中实现更好的多样性。

6.3 贝叶斯逆问题的鲁棒性

设置：考虑贝叶斯逆问题：

$y=A(x)+\eta ,\eta \sim \mathcal{N}(0,{\sigma }^{2}I)$

最大熵先验：基于流形的最大熵先验比一般高斯先验更鲁棒。

定理：设 ${\pi }_{geom}$ 是几何驱动的先验，${\pi }_{gauss}$ 是高斯先验。则在分数误差 $\delta$ 下：

$\text{KL}({\pi }_{post}^{geom}\Vert {\pi }_{true})\le C_1\cdot \delta$
$\text{KL}({\pi }_{post}^{gauss}\Vert {\pi }_{true})\le C_2\cdot \delta /{\sigma }^2$

意义：几何先验对分数估计误差的敏感度降低了 ${\sigma }^2$ 因子。

---

7. 实践启示

7.1 扩散模型训练的重新思考

传统观点：扩散模型通过逐步去噪学习数据分布

新视角：扩散模型主要学习数据流形的几何结构

实践建议：

1. 关注模型在低噪声水平下的去噪性能
2. 法向去噪（垂直于数据流形）比切向去噪更重要
3. 可以使用流形几何损失增强训练

7.2 架构设计

法向敏感架构：

• 关注法空间信息的处理
• 可能不需要完整建模切向相关性

多尺度分数估计：

• 不同尺度编码不同几何信息
• 低噪声层更重要

7.3 评估指标

几何评估：

• 流形重建误差
• 法向一致性
• 局部维度估计

分布评估（作为辅助）：

• FID
• IS
• Precision-Recall

---

8. 理论扩展

8.1 黎曼流形上的分数匹配

将上述理论推广到黎曼度量下的流形：

定义（黎曼分数）：

$s_{\mathcal{M}}^R(x)=-g^{ij}(x)\frac{\partial \log \sqrt{|g|}}{\partial x^i}-\text{div}(g^{-1})$

其中 $g$ 是黎曼度量。

8.2 非均匀噪声

考虑各向异性噪声：

$p_{\sigma }(x)\propto p_{data}(x)\cdot \exp \left(-\frac{1}{2}{x}^T{\Sigma }^{-1}x\right)$

定理：在法空间中，不均匀噪声仍然产生尺度分离，但参数依赖关系更复杂。

8.3 流形学习与生成模型

统一框架：

1. 首先识别数据流形（几何学习）
2. 在流形上学习分布（分布学习）

这种两阶段方法可能更高效且理论基础更清晰。

---

9. 与现有理论的联系

9.1 与Score Matching理论的关系

本理论提供了Score Matching在实践中成功的几何解释：

• 分数函数主要编码流形几何
• 分布信息是次要的

9.2 与神经ODE的关系

神经ODE通过常微分方程进行采样：

$\frac{dx}{dt}=-{\nabla }_x\log p_t(x)$

几何解释：轨迹沿着法线方向趋向流形。

9.3 与流形假设的关系

本理论与经典流形假设的区别：

• 经典观点：数据位于流形上
• 新视角：分数函数编码了几何信息，支持学习流形

---

10. 总结

核心贡献：

1. 尺度分离定理：在低噪声极限下，流形几何信息主导分数函数
2. 几何学习框架：提出了比分布学习更可达成的目标
3. 错误容忍度分析：几何学习的容错能力是分布学习的 ${\sigma }^2$ 倍
4. 实践指导：为扩散模型提供了新的理论理解和设计原则

开放问题：

1. 如何设计专门针对几何学习的神经网络架构？
2. 能否构建理论最优的几何学习算法？
3. 如何将这一理论应用于其他生成模型（如GAN、VAE）？

---

交叉引用

与本文相关的主题：

• Score Matching理论基础 - 去噪与隐式Score Matching
• Score Matching与SDE - SDE视角下的分数学习
• 扩散模型PDE收敛理论 - ODE采样器的收敛性
• PCA深度专题 - 流形学习与降维技术
• 降维技术全面对比 - 不同降维方法的比较

---

参考文献

Footnotes

1. OpenReview (2026). When Scores Learn Geometry: Rate Separations Under the Manifold Hypothesis. ICLR 2026. ↩