扩散模型学习动力学谱偏差理论

概述

扩散模型在训练过程中表现出明显的谱偏差（Spectral Bias）现象：低频（粗粒度）结构比高频（细粒度）细节更早被学习。这一规律与深度学习中著名的”频率原则”高度一致，但扩散模型的特殊之处在于其训练过程发生在噪声逐步退火的轨迹上，这为理解谱偏差提供了独特的视角。

---

1. 谱偏差现象

1.1 什么是谱偏差

谱偏差是指神经网络在学习过程中对不同频率成分表现出不同的收敛速度的现象。在扩散模型中，这表现为：

• 早期时间步（高噪声）：模型首先学习数据的整体结构和低频特征
• 晚期时间步（低噪声）：模型逐渐学习细节和高频特征

这种分层学习的机制是扩散模型能够有效生成高质量图像的关键因素之一。

1.2 与标准深度学习的对比

维度	标准深度学习	扩散模型
输入空间	干净数据 ${\mathbf{x}}_0$	加噪数据 ${\mathbf{x}}_t$
噪声水平	固定（无噪声）	随时间步变化 $\sigma (t)$
学习目标	标签映射	score函数
谱偏差表现	低频先于高频	粗粒度先于细粒度

---

2. 逆方差谱定律

2.1 核心发现

arXiv:2503.03206 提出的解析理论建立了扩散模型学习动力学的逆方差谱定律（Inverse Variance Spectral Law）：

特征模式或傅里叶模式匹配其目标方差所需时间与特征值 ${\lambda }^{-1}$ 成正比。

数学表述：

$$T_{\text{learn}}({\lambda }_k)\approx \frac{C}{{\lambda }_k}$$

其中 $T_{\text{learn}}({\lambda }_k)$ 是特征模式 $k$ （特征值为 ${\lambda }_k$）达到目标方差的学习时间，$C$ 是与模型架构和数据分布相关的常数。

2.2 推论

这一定律的直接推论是：

$$\frac{T_{\text{learn}}({\lambda }_1)}{T_{\text{learn}}({\lambda }_2)}=\frac{{\lambda }_2}{{\lambda }_1}$$

这意味着：

• 高方差（粗粒度）特征：$\lambda$ 大，$T$ 小 → 快速学习
• 低方差（细粒度）特征：$\lambda$ 小，$T$ 大 → 慢速学习

2.3 物理直觉

可以将学习过程类比为在粗糙表面上绘画：

时间步 t (噪声水平)
│
▼ 高噪声(早期)
│  "画布粗糙，只能感知整体形状"
│  → 学习低频特征 (大尺度结构)
│
│
│  "逐渐可以感知细节"
│  → 逐渐学习中等频率特征
│
▼ 低噪声(晚期)
│  "画布细腻，可以看到纹理"
│  → 学习高频特征 (细节、纹理)
│
└──────────────────────────────────▶ 学习内容

---

3. 数学框架

3.1 特征空间分解

设数据分布为高斯混合模型或可近似为高斯的过程。在特征空间中，score函数可以展开为：

$${\nabla }_{\mathbf{x}}\log p_t(\mathbf{x})=\sum _k{\varphi }_k(\mathbf{x}){\mathbf{v}}_k$$

其中 $\{{\mathbf{v}}_k\}$ 是特征向量基，${\varphi }_k(\mathbf{x})$ 是对应的系数。

3.2 学习动力学方程

在无限宽度极限下，单个特征模式的学习动力学满足：

$$\frac{d}{dt}⟨{\varphi }_k(t),{\varphi }_k^{\text{target}}⟩=-{\lambda }_k(t)\cdot ⟨{\varphi }_k(t),{\varphi }_k^{\text{target}}⟩+\text{noise terms}$$

其中 ${\lambda }_k(t)$ 是时间依赖的特征值，${\varphi }_k^{\text{target}}$ 是目标函数。

3.3 积分时间尺度

定义有效积分时间尺度：

$${\tau }_k={\int }_0^T{\lambda }_k(s)ds$$

则特征模式 $k$ 的学习进度为：

$$\text{Progress}(k)\approx 1-e^{-{\tau }_k}$$

3.4 信噪比与学习的关系

时间步 $t$ 的信噪比定义为：

$$\text{SNR}(t)=\frac{{\alpha }_t^2}{1-{\alpha }_t^2}$$

逆方差谱定律与信噪比的关系：

$${\lambda }_k(t)\propto \text{SNR}(t)\cdot {\lambda }_k^{\text{data}}$$

其中 ${\lambda }_k^{\text{data}}$ 是数据分布的第 $k$ 个特征值。

---

4. 频率成分分层学习

4.1 时间-频率对应关系

扩散模型的训练过程中存在清晰的时间-频率对应关系：

时间阶段	噪声水平 $\sigma$	主要学习的频率成分	对应的图像特征
早期	$\sigma \gg 1$	极低频	整体布局、主体位置
早中期	$\sigma \approx 1$	低频	大的形状、颜色分布
中期	$\sigma \approx 0.5$	中频	物体轮廓、纹理模式
中晚期	$\sigma \approx 0.1$	较高频	边缘细节、局部纹理
晚期	$\sigma \ll 1$	高频	精细纹理、噪声模式

4.2 渐近分析

当 $t\to T$（$T$ 为总时间步数）时：

$${\lambda }_k(t)\stackrel{t\to T}{\to }{\lambda }_k^{\text{eff}}$$

其中 ${\lambda }_k^{\text{eff}}$ 是有效特征值，在晚期阶段趋于常数。

这解释了为什么即使在极低噪声水平下，高频特征仍然需要额外的训练步骤才能收敛。

4.3 实验验证

论文通过以下实验验证了逆方差谱定律：

实验1：高斯混合数据

• 数据：二维高斯混合，协方差矩阵特征值为 ${\lambda }_1=10,{\lambda }_2=1$
• 结果：${\lambda }_1$ 对应方向的学习速度是 ${\lambda }_2$ 的约10倍

实验2：自然图像

• 数据：CIFAR-10图像
• 方法：傅里叶分析去噪器的频率响应
• 结果：低频成分的MSE下降速度显著快于高频成分

实验3：不同架构

• U-Net vs Transformer (DiT)
• 结果：两种架构都表现出谱偏差，但DiT的高频学习速度略快

---

5. 局部卷积的特殊作用

5.1 卷积归纳偏置

论文的重要发现之一是局部卷积在重塑学习动力学中具有独特作用。

与全连接网络相比，卷积网络展现出更强的频率选择性：

网络类型	频率选择性	谱偏差强度
全连接网络	较弱	较温和
局部卷积网络	强	明显
带有attention的卷积网络	可调	可控

5.2 局部感受野与频率

卷积核的感受野大小与可捕获的频率范围直接相关：

$$f_{\max }\propto \frac{1}{\text{kernel\_size}}$$

因此：

• 小卷积核（如 $3\times 3$）：主要捕获高频
• 大卷积核（如 $7\times 7$）：主要捕获低频

5.3 多尺度架构的作用

U-Net等典型的扩散模型架构采用多尺度设计，每个尺度对应不同的频率范围：

输入 ──┬──> 3×3 Conv ──> Stage 1 (高频细节)
      │
      └──> 5×5 Conv (膨胀) ──> Stage 2 (中频)
          │
          └──> 7×7 Conv (膨胀) ──> Stage 3 (低频结构)

这种设计天然地实现了频率的分层处理，与逆方差谱定律相吻合。

5.4 膨胀卷积与远程依赖

膨胀卷积（Dilated Convolution）提供了在不增加参数的情况下扩大感受野的方式：

$$y[i]=\sum _{k=0}^{K-1}x[i+d\cdot k]\cdot w[k]$$

其中 $d$ 是膨胀率。不同膨胀率的组合可以实现多尺度频率分析：

膨胀率 $d$	有效感受野	主要频率范围
1	$K$	高频
2	$2K-1$	中频
4	$4K-3$	低频

---

6. 与深度学习频率原则的联系

6.1 频率原则回顾

深度学习频率原则（Frequency Principle, F-Principle）指出：深度神经网络倾向于首先学习低频成分，然后逐渐学习高频成分。¹

在标准监督学习中：

$$\hat{f}(\omega )\stackrel{\text{训练}}{\to }{f}^{\ast }(\omega )$$

其中 $\omega$ 是频率，$f^{\ast }$ 是目标函数。

6.2 扩散模型中的类比

在扩散模型中，频率原则的类比为：

$${\hat{s}}_t(\omega )\stackrel{\text{训练}}{\to }{s}_t^{\ast }(\omega )$$

其中 $s_t^{\ast }(\omega )=\mathbb{E}[{\nabla }_{\mathbf{x}}\log p_t(\mathbf{x})|\omega ]$ 是目标score函数的频率分量。

6.3 关键差异

尽管表面相似，扩散模型与标准深度学习之间存在重要差异：

方面	标准深度学习	扩散模型
输入分布	固定	时变（噪声水平）
目标	确定性映射	条件score函数
噪声作用	无	隐式低通滤波
时间维度	无	额外的学习阶段

6.4 统一的理论框架

可以建立一个统一的框架来理解两种情况下的谱偏差：

$$\frac{d\hat{s}(\omega ,t)}{dt}=-\eta (\omega ,t)\cdot (\hat{s}(\omega ,t)-s^{\ast }(\omega ))$$

其中 $\eta (\omega ,t)$ 是有效的学习率，取决于频率 $\omega$ 和时间步 $t$。

---

7. 实践指导

7.1 训练策略优化

基于谱偏差理论，可以设计更有效的训练策略：

课程学习（Curriculum Learning）

阶段1: 训练高噪声水平 (t 大)
        → 快速学习低频结构

阶段2: 逐渐降低噪声水平
        → 逐步添加高频细节

阶段3: 微调低噪声水平
        → 优化精细纹理

噪声调度设计

调度类型	频率覆盖	适用场景
线性	均匀覆盖	通用
余弦	平滑过渡	避免突然变化
平方根	早期快、晚期慢	高分辨率图像
自适应	动态调整	专业应用

7.2 架构设计建议

设计要素	建议	理论依据
卷积核大小	多尺度混合	覆盖不同频率
网络深度	适度深度	平衡表达力与谱偏差
Skip连接	保留多尺度特征	有利于高频信息传递
Attention模块	在适当中等尺度使用	增强长程依赖但不破坏谱特性

7.3 诊断工具

傅里叶分析工具

import torch
import numpy as np
from scipy.fft import fft2, fftfreq
 
def analyze_frequency_content(model, data_loader, device='cuda'):
    """分析去噪器在不同训练阶段的频率响应"""
    model.eval()
    
    # 收集不同时间步的预测
    predictions = {t: [] for t in [100, 500, 900]}
    
    with torch.no_grad():
        for batch in data_loader:
            x0 = batch.to(device)
            for t in predictions.keys():
                noise = torch.randn_like(x0)
                xt = add_noise(x0, t, device)
                pred_eps = model(xt, t)
                
                # 计算频率响应
                freq_response = compute_freq_response(pred_eps, x0)
                predictions[t].append(freq_response)
    
    return aggregate_results(predictions)
 
def compute_freq_response(pred, target):
    """计算预测的频率响应"""
    # 傅里叶变换
    pred_fft = fft2(pred.cpu().numpy())
    target_fft = fft2(target.cpu().numpy())
    
    # 计算每个频率的响应
    freq_response = np.abs(pred_fft) / (np.abs(target_fft) + 1e-8)
    
    # 按频率范围聚合
    freqs = fftfreq(pred.shape[-1])
    return aggregate_by_frequency(freq_response, freqs)

7.4 超参数调整

超参数	对谱偏差的影响	调整建议
batch size	大batch倾向于更均匀的学习	对于高频任务使用较小batch
学习率	影响收敛速度	高频成分需要更小的学习率
正则化	可能抑制高频学习	谨慎使用L2正则化
dropout	可能破坏高频表示	在晚期阶段降低dropout

---

8. 理论扩展

8.1 非高斯数据

对于非高斯分布的数据，谱偏差理论需要进行以下扩展：

经验特征函数

使用数据驱动的特征函数代替高斯特征函数：

$${\lambda }_k^{\text{emp}}=\text{eigenvalue of }\hat{\mathbf{\Sigma }}$$

其中 $\hat{\mathbf{\Sigma }}$ 是经验协方差矩阵。

非平稳性

对于非平稳数据（如视频），谱偏差可能在空间和时间维度上同时表现。

8.2 多模态扩散模型

对于条件生成模型（如文本到图像），谱偏差表现为：

• 文本条件提供额外的高频”锚点”
• 分类器-free guidance可能增强或减弱特定频率的学习

8.3 连续时间模型

在连续时间SDE框架下，谱偏差可以通过Fokker-Planck方程分析：

$$\frac{\partial p_t(\mathbf{x})}{\partial t}={\mathcal{L}}^{\ast }{p}_t(\mathbf{x})$$

其中 ${\mathcal{L}}^{\ast }$ 是Fokker-Planck算子，其特征值决定了不同模式的衰减速率。

---

9. 总结

9.1 核心理论

理论	数学描述	实践意义
逆方差谱定律	$T_{\text{learn}}\propto {\lambda }^{-1}$	高频需要更多训练
时间-频率对应	不同时间步对应不同频率	噪声调度影响学习
卷积选择性	卷积核大小与频率相关	多尺度架构天然适合

9.2 与其他理论的关系

                    ┌──────────────────┐
                    │   谱偏差理论      │
                    └────────┬─────────┘
                             │
          ┌──────────────────┼──────────────────┐
          ▼                  ▼                  ▼
   ┌────────────┐    ┌────────────┐    ┌────────────┐
   │ 频率原则   │    │ 泛化理论   │    │ 表示学习   │
   └────────────┘    └────────────┘    └────────────┘

9.3 未来方向

1. 统一理论：建立连接谱偏差、频率原则和扩散模型的理论框架
2. 可控谱偏差：设计方法来控制不同频率成分的学习速度
3. 自适应架构：根据数据特性自动调整架构以优化谱特性
4. 跨领域推广：将理论推广到视频、音频等非图像领域

---

参考资料

Footnotes

1. 本段关于频率原则的内容基于 Xu, Z. Q. J., et al. (2019). Frequency Principle: Fourier Neural Networks Approximate Functions From Low to High Frequency. NeurIPS 2019 Workshop. ↩