Learning Mechanics 深度学习力学理论

Learning Mechanics：深度学习的科学理论框架

1. 引言

深度学习领域长期以来面临一个核心问题：虽然神经网络在实践中取得了巨大成功，但我们缺乏一个统一的科学理论来解释为什么这些方法有效。2026年，一篇里程碑式的论文¹提出了一种新的理论框架——Learning Mechanics（学习力学），旨在为深度学习建立类似于牛顿力学之于经典物理的数学基础。

“We argue that a scientific theory of deep learning is now emerging, best understood as a ‘mechanics’ of the learning process.”
— Simon, Kunin et al., 2026

2. 核心思想：从”为什么”到”如何”

传统深度学习研究主要关注端点行为（输入→输出的映射），而Learning Mechanics关注训练过程本身的规律。这类似于物理学从亚里士多德的”目的因”（物体下落是因为它们”想要”到达地面）转向牛顿力学的”动力因”（力产生加速度）。

2.1 学习力学 vs 传统理论

维度	传统深度学习理论	Learning Mechanics
关注点	最终参数 ${\theta }^{\ast }$	轨迹 $\theta (t)$
分析方法	静态、端点	动态、过程
预测能力	定性	定量、可证伪
类比	目的论	力学
核心概念	损失曲面	动力学方程

2.2 五大研究支柱

Learning Mechanics整合了深度学习理论领域的五大研究方向¹：

1. 可解的理想化设置 (Solvable Idealized Settings)

   • 线性网络、可处理的无限宽度/温度极限
   • 提供精确解作为直觉锚点

2. 可处理的极限 (Tractable Limits)

   • 无限宽度/温度极限揭示基本现象
   • 神经切核(NTK)、平均场理论

3. 简单数学定律 (Simple Mathematical Laws)

   • 宏观可观测量遵循简单规律
   • Scaling Laws、损失预测

4. 超参数理论 (Theories of Hyperparameters)

   • 学习率、批量大小等对训练的影响
   • Edge of Stability等现象

5. 普适行为 (Universal Behaviors)

   • 跨架构、跨领域的共同规律
   • Grokking、Neural Collapse

3. 数学框架

3.1 动力学方程

学习过程被建模为一个概率分布的演化方程：

$${\partial }_t{\rho }_t(\theta )=-\nabla \cdot J({\rho }_t,\theta )=-\nabla \cdot \left({\rho }_t(\theta )\cdot \nabla \Phi (\theta ,t)\right)$$

其中：

• ${\rho }_t(\theta )$ 是参数在时间 $t$ 的分布密度
• $J$ 是概率流
• $\Phi (\theta ,t)$ 是广义势，由损失函数和优化器决定

3.2 连续时间极限

在适当的缩放下，随机梯度下降(SGD)对应于一个连续时间随机微分方程：

$$d{\theta }_t=-\nabla L({\theta }_t)dt+\sqrt{2T}d{W}_t$$

其中：

• $L(\theta )$ 是损失函数
• $T$ 是”温度”参数（与学习率和批量大小相关）
• $W_t$ 是维纳过程

这正是过阻尼Langevin动力学的形式！

3.3 宏观可观测量

为了进行定量预测，Learning Mechanics关注粗粒化的宏观量：

$$\mathbf{O}(t)=⟨f({\theta }_t){⟩}_{\text{macro}}=\frac{1}{N}\sum _{i=1}^{N}f({\theta }_t^{(i)})$$

常见的宏观量包括：

• 平均损失：$L(t)=⟨\ell ({\theta }_t)⟩$
• 损失方差：${\sigma }_L^2(t)=⟨\ell ({\theta }_t{)}^2⟩-⟨\ell ({\theta }_t){⟩}^2$
• 参数范数：$\Vert \theta {\Vert }_2(t)$
• 梯度范数：$\Vert \nabla L({\theta }_t)\Vert$

3.4 守恒定律

类似于物理学中的守恒定律，深度学习训练过程也存在信息守恒：

$$\frac{d}{dt}\int {\rho }_t(\theta )d\theta =0\text{(概率守恒)}$$

以及熵产生：

$$\frac{dH({\rho }_t)}{dt}=\int {\rho }_t\Vert \nabla \Phi {\Vert }^{2}d\theta \ge 0$$

其中 $H(\rho )=-\int \rho \log \rho$ 是熵。

4. 核心预测与实证

4.1 Scaling Laws的力学解释

Learning Mechanics为Scaling Laws提供了一个基于力学的解释：

考虑损失随计算量的变化：

$$L(C)\sim C^{-\alpha }$$

在Learning Mechanics框架下，指数 $\alpha$ 与以下因素相关：

• 温度 $T$（有效噪声水平）
• 损失景观的曲率
• 数据分布的复杂度

4.2 Edge of Stability

当学习率设置过高时，训练会进入Edge of Stability状态：

$${\lambda }_{\max }(H)\cdot \eta \approx 2$$

其中 ${\lambda }_{\max }(H)$ 是Hessian最大特征值，$\eta$ 是学习率。

Learning Mechanics预测：在此临界点附近，损失会表现出准周期振荡，这已被实证观察证实。

4.3 Grokking动力学

Grokking现象（训练后期突然泛化）可以用相变来解释：

• 早期：系统处于”无序相”，参数快速收敛但泛化差
• 后期：系统发生”相变”，进入”有序相”，泛化能力涌现

5. 与现有理论的关系

5.1 与PAC-Bayes理论

方面	PAC-Bayes	Learning Mechanics
框架	统计学	统计力学
核心对象	后验分布	动力学方程
预测类型	泛化界	训练轨迹
可证伪性	弱	强

5.2 与NTK理论

神经切核(NTK)理论是Learning Mechanics的微观基础：

• 微观：单个参数 $\theta$ 的演化（NTK描述）
• 宏观：参数分布 ${\rho }_t$ 的演化（Learning Mechanics描述）

两者通过平均场极限连接：

$$\underset{n\to \infty }{\lim }\text{NTK dynamics}\approx \text{Learning Mechanics dynamics}$$

5.3 与Mechanistic Interpretability

Learning Mechanics与机制可解释性形成互补：

• Mechanistic Interpretability：关注电路（权重空间的局部结构）
• Learning Mechanics：关注动力学（训练轨迹的全局结构）

两者结合可以提供从”局部电路”到”全局动力学”的完整图景。

6. 开放问题

6.1 理论问题

1. 什么是力的微观起源？

   • 梯度 $\nabla L$ 产生”力”，但为什么这种力产生有效的学习？
   • 需要建立从数据到”力”的第一性原理

2. 相变如何分类？

   • 目前对Grokking等相变缺乏系统分类
   • 需要类似于朗道相变理论的形式化

3. 跨架构普适性

   • 某些规律（如Edge of Stability）是否对所有架构成立？
   • 需要更多跨架构实验验证

6.2 计算问题

1. 粗粒化方案的选择

   • 如何选择合适的宏观量？
   • 粗粒化是否唯一？

2. 数值方法的开发

   • 高维概率流的数值模拟
   • 高效的Monte Carlo方法

7. 实践意义

7.1 超参数设计

Learning Mechanics提供了超参数缩放的理论指导：

学习率缩放：

$$\eta \propto \frac{1}{\sqrt{B}}\cdot \frac{1}{\sqrt{N}}$$

其中 $B$ 是批量大小，$N$ 是参数数量。

温度与批量大小的关系：

$$T\propto \frac{B}{N_{\text{eff}}}$$

7.2 训练策略

基于Learning Mechanics的课程学习设计：

1. 温度升温：初期使用高温度（高噪声）探索
2. 温度降温：后期使用低温稳定收敛

7.3 架构设计

宽度与深度的权衡：

• 宽网络：低温度，需要更多参数
• 深网络：高温度，但可能出现特征复用

8. 未来展望

Learning Mechanics代表了一个新兴的研究方向，其发展路径可能类似于：

1. 经典力学：从开普勒定律到牛顿定律
2. 统计力学：从微观动力学到宏观热力学
3. 深度学习：从经验观察，到Learning Mechanics

终极目标：建立一个可预测的、可证伪的深度学习理论体系，使得我们能够像工程师设计桥梁一样设计神经网络。

参考文献

相关主题

• Transformer平均场动力学
• 损失景观临界点分析
• 神经切核理论
• 模式连接理论
• Scaling Laws理论

Footnotes

1. Simon, Kunin, Atanasov, Boix-Adserà, Bordelon, et al. “There Will Be a Scientific Theory of Deep Learning.” arXiv:2604.21691 (2026). Link ↩ ↩²