有限宽度多层神经网络的精确梯度下降训练动力学

1. 概述

理解真实有限宽度多层神经网络中梯度下降的训练动力学，是深度学习理论的核心挑战之一。Han和Imaizumi（2025）在论文¹中首次提出了对一般多层神经网络梯度下降迭代的精确分布特征刻画，在所谓「有限宽度比例 regime」（finite-width proportional regime）下运作。该理论的核心贡献包括：

• 首个对多层神经网络梯度下降迭代的精确分布表征
• 在样本量与特征维度按比例增长的设定下，网络宽度和深度保持有界
• 非渐近状态演化理论，捕获第一层权重的高斯波动与深层权重的确定性聚集
• 对非高斯特征同样有效
• 支持闭式泛化误差估计，无需算法收敛

这一理论与现有的神经正切核（NTK）²、Mean-Field（MF）理论³和Tensor Program（TP）框架⁴有本质区别，为理解深度学习训练动力学提供了全新的理论视角。

---

2. 问题背景与研究动机

2.1 标准单指标回归模型

考虑前馈 $L$ 层（$L\ge 2$）神经网络，函数形式为：

$f_W(x)\equiv W_L^{\top }\sigma \left(W_{L-1}^{\top }\cdots \sigma \left(W_1^{\top }x\right)\right),x\in {\mathbb{R}}^n$

其中 $W=(W_1,\dots ,W_L)$ 是网络参数。假设我们有训练数据 $\{(X_i,Y_i){\}}_{i\in [m]}\subset {\mathbb{R}}^n\times \mathbb{R}$ 来自标准单指标回归模型：

$Y_i={\phi }^{\ast }\left(⟨X_i,{\mu }^{\ast }⟩\right)+{\xi }_i,i\in [m]$

其中 ${\phi }^{\ast }:\mathbb{R}\to \mathbb{R}$ 是未知链接函数，$\{{\xi }_i\}$ 是随机误差，$m$ 和 $n$ 分别表示样本量和特征维度。

2.2 现有理论框架的局限性

现有理论框架在以下方面存在局限¹：

框架	局限性
NTK理论	本质上无限宽度；lazy training regime限制权重只能小幅度偏离初始化
Mean-Field理论	主要限于两层网络；需要特殊初始化方案避免退化和爆炸
Tensor Program	依赖i.i.d.初始化；无法适应结构化初始化方案

更重要的是，这些理论几乎都局限于两层网络，无法刻画多层网络的泛化行为。

---

3. 有限宽度比例 Regime

3.1 Regime定义

论文¹定义的有限宽度比例 regime是本文理论的核心设定：

$$\frac{m}{n}=\varphi \text{满足}\frac{1}{K}\le \varphi \le K$$

其中：

• $m$：样本量
• $n$：特征维度
• $q$：网络宽度（保持有界）
• $L$：网络深度（保持有界）

这一设定与表1中真实深度学习模型的特性高度吻合：

模型	深度 $L$	宽度 $q$	样本量 $m$	特征维度 $n$
ResNet-152	152	2048	ImageNet: 1.3M	~150K
EfficientNet-B7	~66	~640	ImageNet: 1.3M	~1M
ViT-L/16	24	1024	ImageNet: 1.3M	~200K
GPT-3	96	~12K	~300B tokens	up to 25M

3.2 Regime的统计意义

在 $\varphi \asymp 1$ 的设定下：

• 经验损失 $\mathcal{L}$ 不再能够集中于总体损失 $\bar{\mathcal{L}}$
• 有限宽度效应变得显著
• 权重从初始化开始有非平凡的演化
• 这正是真实神经网络训练的核心特征

---

4. 非渐近状态演化理论

4.1 核心定理

论文¹的定理3.2给出了对每个迭代 $t=1,2,\dots$ 的精确分布表征。核心结论如下：

第一层权重 $W_1^{(t)}\in {\mathbb{R}}^{n\times q}$： 存在线性函数 ${\Delta }_{\ell }^{(t)}:{\mathbb{R}}^{q[1:t]}\to {\mathbb{R}}^q$ 和高斯向量 $V^{(1)},\dots ,V^{(t)}\in {\mathbb{R}}^q$，使得：

$$n^{1/2}{W}_1^{(t)};\ell \cdot d\approx {\Delta }_{\ell }^{(t)}\left(V^{([1:t])}\right)$$

深层权重 $\{W_{\alpha }^{(t)}\in {\mathbb{R}}^{q\times q}{\}}_{\alpha \in [2:L]}$： 存在确定性矩阵 $\{V_{\alpha }^{(t)}\}$ 使得：

$$W_{\alpha }^{(t)}\approx V_{\alpha }^{(t)},\alpha =2,\dots ,L$$

4.2 状态演化的递归定义

状态演化通过以下递归方程定义（见定义3.1¹）：

(S1) 预激活更新：

$${\Theta }^{(t)}\left(u^{([0:t])}\right)\equiv u^{(t)}-{\varphi }^{-1}\sum _{s\in [1:t-1]}{\eta }_1^{(s-1)}\cdot S\left({\Theta }^{(s)}\left(u^{([0:s])}\right),u^{(0)},V^{(s-1)}\right){\rho }_{t-1,s}^{\top }$$

(S2) 协方差结构： 对于 $s\in [0:t]$，

$$\text{Cov}(U^{(t)},U^{(s)})\equiv {\Omega }_{t-1,s-1}+n^{-1}\cdot D_{t-1}^{\top }{D}_{s-1}\in {\mathcal{M}}_q$$

(S3) Onsager校正矩阵： 定义矩阵变元Onsager校正矩阵 $\{{\tau }_{t,s}\}$ 和 $\{{\rho }_{t,s}\}$：

$${\rho }_{t,s}\equiv I_{q\cdot 1_{s=t}}+\sum _{r\in [s+1:t]}{\tau }_{t,r}{\rho }_{r-1,s}$$

这些校正矩阵在恢复 $X{W}_1^{(t)}$ 的近似正态性中起关键作用。

4.3 权重演化的量化

由定理3.2可得，对任意 $t\ge 1$：

$$\Vert W_1^{(t)}-W_1^{(0)}{\Vert }_2^2\approx n^{-1}\Vert D_t-D_0{\Vert }_2^2+{\Omega }_{t,t}$$ $$\Vert W_{\alpha }^{(t)}-W_{\alpha }^{(0)}{\Vert }_2^2\approx \Vert V_{\alpha }^{(t)}-W_{\alpha }^{(0)}{\Vert }_2^2,\alpha \in [2:L]$$

由于初始化 $W^{(0)}$ 的典型幅度为 $\Vert W_{\alpha }^{(0)}\Vert \asymp 1$，上述等式表明权重通常从初始化开始非平凡地演化，这超越了lazy training regime。

---

5. 泛化误差表征

5.1 训练误差与测试误差

论文¹定义：

• 训练误差：${\mathcal{E}}_{\text{train}}^{(t)}(X,Y)\equiv \frac{1}{m}\Vert Y^{[q]}-G_{W^{(t)};L}(X){\Vert }^2$
• 测试误差：${\mathcal{E}}_{\text{test}}^{(t)}(X,Y)\equiv {\mathbb{E}}^{(0)}[(Y_{\text{new}}-f_{W^{(t)}}(X_{\text{new}}){)}^2|(X,Y)]$

5.2 定理4.2：闭式表征

定理4.2¹给出了精确的误差表征：

$${\mathcal{E}}_{\text{train}}^{(t)}(X,Y)\approx \frac{1}{m}\sum _{k\in [m]}{\mathbb{E}}^{(0)}\Vert R_{V^{(t)};k}({\Theta }_k^{(t+1)}(U^{[0:t+1]}),U^{(0)}){\Vert }^2$$ $${\mathcal{E}}_{\text{test}}^{(t)}(X,Y)\approx \frac{1}{m}\sum _{k\in [m]}{\mathbb{E}}^{(0)}\Vert R_{V^{(t)};k}(U^{(t+1)},U^{(0)}){\Vert }^2$$

其中 $R_{V^{(t)}}$ 是定义2.3中的理论残差映射。

5.3 泛化 gap

泛化 gap 定义为：

$${\text{Gap}}^{(t)}(X,Y)\equiv {\mathcal{E}}_{\text{test}}^{(t)}(X,Y)-{\mathcal{E}}_{\text{train}}^{(t)}(X,Y)$$

由于 ${\Theta }^{(t)}$ 通常是非线性的，上述表征量化了一个非平凡的泛化 gap $\Theta (1)$，这在经典的一致收敛 regime之外是普遍存在的现象。

---

6. 学习模型的结构表征

6.1 定理5.2：有效信号表示

论文¹的定理5.2表明，尽管单指标回归函数 $x\mapsto {\phi }^{\ast }(⟨x,{\mu }^{\ast }⟩)$ 被神经网络模型（1.1）本质上是错误设定的，学习到的模型 $f_{W^{(t)}}(x)$ 仍然保持单指标函数结构：

$$f_{W^{(t)}}(x)\approx h_{V^{(t)}[2:L]}\left(U_{\text{eff}}^{(t)\ast },{\top }_{\text{eff}}^{\ast }x+{\Omega }_{t,t}^{1/2}{Z}_q\right)$$

其中：

• $h_{V^{(t)}[2:L]}:{\mathbb{R}}^q\to {\mathbb{R}}^q$ 是有效链接函数
• $U_{\text{eff}}^{(t)\ast }$ 是有效信号，定义为真信号 ${\mu }^{\ast }$ 和初始化 $W_1^{(0)}$ 的线性组合：

$$U_{\text{eff}}^{(t)\ast }\equiv {\mu }^{\ast }{m}_W^{(t)\top }+W_1^{(0)}{M}_W^{(t)\top }$$

6.2 理论意义

这一结果揭示了梯度下降训练的特征学习机制的本质：

1. 即使存在模型错误设定，学习到的模型仍然依赖于 $⟨x,{\mu }^{\ast }⟩$
2. 有效信号由真信号和初始化的线性组合决定
3. 高维高斯噪声项 ${\Omega }_{t,t}^{1/2}{Z}_q$ 源于有限宽度比例 regime

---

7. 泛化误差的算法估计

7.1 算法1：增强梯度下降

论文¹提出了一种增强的梯度下降算法，同时输出：

1. 梯度更新 $W^{(t)}$
2. 泛化误差的一致估计 ${\hat{\mathcal{E}}}_{\text{test}}^{(t)}(X,Y)$

关键步骤包括：

1. 前向传播：计算 ${\hat{H}}_{\alpha }^{(t-1)}$ 和其导数
2. 反向传播：计算 ${\hat{P}}_{\alpha }^{(t-1)}$ 和其二阶导数
3. 预梯度导数估计：计算 ${\hat{Q}}_{\ell }^{(t-1)}$ 和 ${\hat{S}}^{(t-1)}$
4. 矩阵变元Onsager校正系数：计算 ${\hat{\tau }}^{[t]}$ 和 ${\hat{\rho }}^{[t]}$
5. 梯度更新与误差估计

7.2 定理4.3：一致性保证

定理4.3¹证明了估计的一致性：

$${\mathbb{E}}^{(0)}|{\hat{\mathcal{E}}}_{\text{test}}^{(t)}(X,Y)-{\mathcal{E}}_{\text{test}}^{(t)}(X,Y){|}^r\le (K\Lambda {\kappa }^{\ast }{)}^{c_t}\cdot n^{-1/c_t}$$

这一估计的实用价值在于：

• 无需算法收敛
• 无需知道底层链接函数 ${\phi }^{\ast }$ 或信号 ${\mu }^{\ast }$
• 可用于指导早停和超参数调优

---

8. 与现有理论框架的比较

8.1 与NTK理论的比较

特性	NTK理论	本文理论
宽度设定	无限宽度	有限宽度
权重演化	lazy regime（冻结或弱敏感）	非平凡演化
泛化表征	仅限两层网络	任意深度
初始化依赖	弱	强（真实初始化）

详见 NTK理论深度解析。

8.2 与Mean-Field理论的比较

Mean-Field理论通过 Wasserstein 梯度流描述权重分布的演化，但：

• 主要限于两层网络
• 需要特殊初始化方案
• 无法提供闭式泛化误差估计

8.3 与Tensor Program的比较

Tensor Program框架：

• 依赖i.i.d.初始化方案
• 无法适应正交初始化等结构化方案
• 同样限于两层网络的泛化分析

---

9. 证明技术概述

9.1 核心工具：矩阵变元GFOM理论

本文证明依赖于Han（2024）⁵发展的非渐近、逐元分布理论（General First Order Methods, GFOM）。

9.2 迭代约化方案

关键思想是将梯度下降迭代映射到一系列辅助GFOM的序列：

1. 重述梯度下降：将原始迭代改写为特定形式
2. 构造辅助GFOM：构建与原始迭代接近但具有状态演化表征的辅助序列
3. 交替误差控制：利用状态演化理论，交替控制辅助GFOM与原始迭代之间的误差

9.3 Onsager校正的作用

矩阵变元Onsager校正矩阵 $\{{\rho }_{t,s}\}$ 通过校正预梯度方向的偏差，恢复了 $X{W}_1^{(t)}$ 的近似高斯性。这是精确分布表征得以成立的关键技术。

详见 反向传播与梯度流理论 中关于梯度计算基础的内容。

---

10. 实际应用与实验验证

10.1 模拟实验设置

论文¹的模拟实验采用：

• 单指标函数：${\phi }^{\ast }(x)=\tanh (x)$
• 样本量 $m=300$，特征维度 $n=600$（$\varphi =0.5$）
• 信号 ${\mu }^{\ast }\sim \mathcal{N}(0,I_n/n)$
• 网络宽度 $q=10$，深度 $L=2,3,5$

10.2 实验结果

实验验证了：

1. 算法1的准确性：${\hat{\mathcal{E}}}_{\text{test}}^{(t)}(X,Y)$ 与理论泛化误差在每个迭代都高度吻合
2. 多层网络适用性：对 $L=2,3,5$ 层网络均有效
3. 非高斯数据鲁棒性：对高斯和非高斯（t分布）数据均有效
4. 早停指导：可准确捕捉泛化误差开始上升的时机

10.3 注意事项

1. 宽网络限制：当 $q/m$ 增大时，估计精度下降
2. 激活函数正则性：对ReLU等非光滑激活函数需要额外修正

---

11. 理论意义与未来方向

11.1 主要贡献总结

1. 首个有限宽度精确理论：填补了无限宽度理论与实践之间的空白
2. 多层网络泛化表征：突破了现有理论几乎仅限两层网络的限制
3. 实用误差估计：提供了无需收敛即可估计泛化误差的算法
4. 结构洞察：揭示了特征学习的本质——保持单指标函数结构

11.2 开放问题

1. 激活函数正则性：最小正则性要求是否可放宽至仅Lipschitz连续？
2. 多指标模型：理论是否可扩展至多指标回归模型？
3. 样本复杂度：能否基于定理5.4分析最优样本复杂度 $O(n)$？

11.3 相关研究方向

• 逐点泛化理论
• Central Flows优化理论
• 非渐近泛化理论

---

参考文献

---

相关阅读

• 神经正切核理论深度解析
• 反向传播与梯度流理论
• 梯度下降的隐式偏差
• 稳定性边缘的训练动力学

Footnotes

1. Han, Q. & Imaizumi, M. (2025). Precise gradient descent training dynamics for finite-width multi-layer neural networks. arXiv:2505.04898. ↩ ↩² ↩³ ↩⁴ ↩⁵ ↩⁶ ↩⁷ ↩⁸ ↩⁹ ↩¹⁰ ↩¹¹

2. Jacot, A., Gabriel, F. & Hongler, C. (2018). Neural tangent kernel: Convergence and generalization in neural networks. NeurIPS. ↩

3. Chizat, L. & Bach, F. (2018). On the global convergence of gradient descent for over-parameterized models using optimal transport. NeurIPS. ↩

4. Yang, G. (2019). Tensor programs I: Feedforward neural networks. arXiv:1904.03806. ↩

5. Han, Q. (2024). Non-asymptotic, entrywise distribution theory for general first order methods. 博士论文. ↩