非渐近泛化理论：超越偏差-方差权衡

1. 引言

经典学习理论预测，当模型复杂度增加时泛化误差呈现先下降后上升的U形曲线（偏差-方差权衡）。然而，深度学习中的**双下降（Double Descent）**现象完全颠覆了这一预测¹。

1.1 双下降现象

泛化误差
    ↑
    │     /\         ↗↗↗↗
    │    /  \       ↗      ↗
    │   /    \     ↗        ↗
    │  /      \   ↗          ↗
    │ /        \ ↗            ↗
    │/          \              ↗
    └────────────────────────────→ 模型复杂度
      ↑           ↑           ↑
    欠拟合     插值门槛    过参数化区

关键观察：

• 在插值门槛（Interpolation Threshold）处泛化最差
• 当模型严重过参数化时，泛化性能反而提升
• 这一现象在神经网络、随机森林等多种模型中普遍存在

1.2 经典理论的局限性

现有泛化理论存在根本性不足：

理论	假设	局限性
VC维度	有限模型类	无法解释过参数化场景
Rademacher复杂度	独立同分布	对深度网络界过松
Norm-based界	范数约束	忽略架构细节
NTK理论	无限宽度	不适用于实际宽度

2. 非渐近泛化理论框架

2.1 核心设定

考虑以下学习框架²：

模型：多层全连接神经网络

$$f(x;\theta )=W_L\sigma (W_{L-1}\sigma (\cdots \sigma (W_{1}x)\cdots ))$$

损失函数：$L(f(x;\theta ),y)$，满足Lipschitz条件

激活函数：$\sigma$，满足 $\sigma (0)=0$，为任意Lipschitz函数

数据集：$(x_i,y_i{)}_{i=1}^n$，输入独立同分布

2.2 主要结果

定理（非渐近泛化误差界）：对于任意Lipschitz损失函数和Lipschitz激活函数 $\sigma$（满足 $\sigma (0)=0$），泛化误差满足：

$$\mathbb{E}[R(f_n)-\hat{R}(f_n)]\le \underset{\text{方差项}}{\underbrace{\frac{C\cdot \sqrt{L}}{\sqrt{n}}}}+\underset{\text{偏差项}+\text{近似误差}}{\underbrace{\underset{g\in \mathcal{G}}{\inf }\Vert f_n-g\Vert \cdot \text{Lip}(g)}}$$

其中：

• $L$ 为网络深度
• $C$ 为与架构相关的常数
• $f_n$ 为经验风险最小化解
• $\mathcal{G}$ 为目标函数类

2.3 关键创新点

创新1：无需有界损失函数

经典理论通常要求损失函数有界（如 $L\le 1$），我们的理论放松了这一要求：

$$L(f(x),y)\le \kappa \cdot \Vert f(x)-y\Vert +c$$

对任意 $\kappa ,c\ge 0$ 成立即可。

创新2：无需超参数趋向无穷

不要求宽度、深度或其他超参数趋向无穷：

$$n_p\in [1,\infty ),L\in [1,\infty )$$

创新3：包含近似误差

$$R^{\ast }=\underset{g\in \mathcal{G}}{\inf }\mathbb{E}[L(g(x),y)]$$

这允许理论处理欠参数化到过参数化的连续过渡。

3. 泛化误差上界详解

3.1 分解结构

$$R(f_n)\le \underset{\text{训练误差}}{\underbrace{\hat{R}(f^{\ast })}}+\underset{\text{估计误差}}{\underbrace{\mathcal{B}(n_p,L,n)}}+\underset{\text{近似误差}}{\underbrace{\mathcal{A}(f^{\ast },\mathcal{G})}}$$

其中：

估计误差：

$$\mathcal{B}(n_p,L,n)=O\left(\frac{\sqrt{L}\cdot \log (n_p)}{\sqrt{n}}\right)+O\left(\frac{\sqrt{\log n_p}}{\sqrt{n_p}}\right)$$

3.2 对双下降的解释

机制1：宽度效应

当宽度 $n_p$ 增加时：

$$\mathcal{B}\propto \frac{1}{\sqrt{n_p}}\text{（方差减少）}$$

同时，由于网络表达能力增强：

$$\mathcal{A}\propto \frac{1}{n_p^{\alpha }}\text{（偏差减少）}$$

机制2：深度效应

当深度 $L$ 增加时：

$$\mathcal{B}\propto \sqrt{L}\text{（估计难度增加）}$$

但这被宽度增加带来的表达能力提升所补偿。

3.3 插值门槛分析

在 $n_p\approx n$（即参数量接近样本数）处：

$$\text{Var}\sim \frac{1}{\sqrt{n_p}}\to \frac{1}{\sqrt{n}}$$

但网络刚好能够拟合所有训练点，导致：

• 方差未充分降低（样本不足）
• 近似误差仍较大（模型容量有限）

这解释了为什么插值门槛处泛化最差。

4. 对ReLU网络的具体分析

4.1 ReLU网络的特殊性质

对于激活函数 $\sigma (z)=\max (0,z)$，可以推导更紧的界：

定理（ReLU网络双下降）：对于L层ReLU网络，泛化误差界为：

$$R(f_n)\le \underset{\to 0}{\underbrace{\hat{R}(f_n)}}+C_1\cdot \frac{\sqrt{L}\cdot \sqrt{\log n_p}}{\sqrt{n}}+C_2\cdot n_p^{-\beta }$$

其中第二项在 $n_p\approx n$ 处达到峰值，然后随 $n_p\to \infty$ 衰减。

4.2 最优模型规模

通过最小化泛化误差界：

$$n_p^{\ast }\approx \arg \underset{n_p}{\min }\left\{\frac{\sqrt{\log n_p}}{\sqrt{n_p}}+n_p^{-\beta }\right\}$$

数值解表明 $n_p^{\ast }$ 位于欠参数化与过参数化交界处附近，但偏向过参数化一侧。

5. 与现有理论的对比

5.1 对比表

理论	是否解释双下降	是否有界损失要求	是否需要 $n_p\to \infty$
VC维度	❌	✅	❌
Rademacher	⚠️ 松弛	✅	❌
NTK/均值场	✅	✅	✅
本文理论	✅	❌	❌

5.2 理论优势

1. 近最优性：对于ReLU回归问题，证明了界的近最优性
2. 统一框架：同时处理欠/临界/过参数化场景
3. 架构感知：考虑了深度和非线性激活的影响
4. 实践指导：为模型规模选择提供理论依据

6. 理论启示与实践建议

6.1 对双下降现象的理解

深度学习的反直觉特性：

• 模型越大不一定越容易过拟合
• 边际改善可能在过参数化区域持续
• 插值门槛是危险的”谷底”

6.2 实践建议

模型规模选择：

def estimate_optimal_width(n_samples, depth, target_complexity):
    """
    基于理论推导的宽度估计
    """
    # 经验法则：宽度 > 4n 确保处于双下降上升区
    min_width = 4 * n_samples / depth
    # 考虑计算资源的上限
    optimal_width = min(min_width * 2, target_complexity)
    return optimal_width

正则化策略：

• 过参数化区域：可以适当减少正则化强度
• 插值门槛附近：需要更强的正则化
• 欠参数化区域：关注模型表达能力

6.3 与其他机制的交互

与Implicit Bias的联系：

• 梯度下降在过参数化区域的隐式偏差
• 边际最大化的隐式正则化

与彩票假说的联系：

• 过参数化提供了”好赌票”的搜索空间
• 双下降与成功找到稀疏子网络相关

7. 局限性与未来方向

7.1 当前局限

1. 激活函数假设：要求 $\sigma (0)=0$，不适用于某些激活
2. 架构限制：主要分析全连接网络
3. 实践常数：理论常数可能过于保守

7.2 未来研究方向

• 将理论扩展到CNN、Transformer等架构
• 研究标签噪声对双下降的影响
• 探索自适应学习率与泛化的关系

8. 总结

本文提出的非渐近泛化理论为理解深度学习提供了新的视角：

• ✅ 统一框架：无需渐近假设即可分析泛化
• ✅ 双下降解释：从理论上解释了双下降现象
• ✅ 近最优性：理论界在某些情况下可达最优
• ✅ 实践指导：为模型设计提供理论依据

这一理论表明，经典学习理论需要更新以拥抱深度学习中的反直觉特性。

参考资料

Footnotes

1. A Near Complete Nonasymptotic Generalization Theory For Multilayer Neural Networks. arXiv:2503.02129 (2025) ↩

2. Understanding Deep Learning with Generalization Gap. JMLR 2024 ↩