反向传播物理理论索引

1. 概述

2026 年涌现的反向传播物理理论新视角，将深度学习训练与经典力学、PDE 理论、Hamilton-Jacobi 方程等建立严格联系。本索引系统整理相关工作、核心概念与跨文档关系。

2. 核心工作

2.1 Lagrangian 视角：反向传播作为物理松弛

[[backpropagation-physical-theory|反向传播的物理理论]]：

Scurria (2026) 证明标准 BP 是对偶状态空间上鞍点动力学的单位步长 Euler 离散化，对 $L$ 层网络在 $2L$ 步内精确恢复。

核心贡献：

• 对偶状态空间 $(\mathbf{a},\tilde{\mathbf{a}})$ 上的全局能量泛函
• 非保守系统的 Lagrangian 理论处理非对称权重
• 精确有限时间梯度（无需近似）
• 无全局时钟的物理可行性

2.2 Hamilton-Jacobi 视角：神经网络作为 PDE

[[../math/hamilton-jacobi-deep-learning|Hamilton-Jacobi 深度学习理论]]：

Miñoza et al. (2026) 证明训练好的神经网络就是 Hamilton-Jacobi 初值问题，单一参数 $\epsilon$ 统一网络/热带代数/PDE/凸优化四个视角。

核心贡献：

• log-sum-exp 层作为 Maslov 退量化的精确实现
• Hopf-Cole 线性化连接 LSE 与黏性 PDE
• 统一交换图：四个视角通过同一 $\epsilon$ 严格连接
• 现代架构（Transformer、ResNet、RNN、SSM）的 PDE 解释

3. 互补关系

维度	反向传播物理理论	Hamilton-Jacobi 理论
核心数学	Lagrangian 力学	Hamilton-Jacobi PDE
状态空间	对偶 $(\mathbf{a},\tilde{\mathbf{a}})$	正向 + 协态 $(\mathbf{x},\mathbf{\lambda })$
动力学	鞍点松弛	Hamiltonian 流
变换	—	Legendre 变换（$\iff$ Lagrangian ↔ Hamiltonian）
视角	离散-连续桥接	代数-PDE 桥接
应用	神经形态硬件、生物可信	架构设计、$\epsilon$ 调节

关键观察：两者通过 Legendre 变换互相等价，提供反向传播的完整物理理论。

4. 学习路径

4.1 入门路径

1. BP 基础：[[backpropagation|反向传播]]
2. 梯度流：[[backpropagation-gradient-flow-theory|反向传播与梯度流理论]]
3. 物理反传：[[backpropagation-physical-theory|反向传播的物理理论]]
4. HJ 理论：[[../math/hamilton-jacobi-deep-learning|Hamilton-Jacobi 深度学习理论]]

4.2 进阶路径

1. 入门路径完成
2. 神经 ODE：[[../machine-learning/neural-odes-continuous-depth-networks|神经 ODE]]
3. ResNet 哈密顿：[[../machine-learning/resnet-hamiltonian-feature-learning|ResNet 哈密顿特征学习]]
4. 神经热力学：[[../machine-learning/neural-thermodynamics-statistical-physics|神经热力学]]

5. 相关工作

5.1 其他物理视角

视角	工作	关系
神经 ODE	Chen et al. 2018	连续深度网络的 ODE 化
Neural ODE 哈密顿	ICML 2025 等	残差网络作为 ODE 离散
统计物理	神经热力学	自由能 ↔ HJ 值函数
量子物理	—	反传作为量子演化

5.2 历史脉络

• 2017：Equilibrium Propagation（保守系统）
• 2018：Neural ODE（连续深度）
• 2024-2025：神经形态硬件推动物理反传研究
• 2026：物理反传与 HJ 理论系统性建立

6. 核心概念速查

6.1 Lagrangian ↔ Hamiltonian

$$L(\mathbf{q},\dot{\mathbf{q}},t)\stackrel{\text{Legendre}}{\iff }H(\mathbf{q},\mathbf{p},t)$$

其中 $\mathbf{p}=\partial L/\partial \dot{\mathbf{q}}$。

6.2 鞍点动力学

$$\text{能量 }\mathcal{E}(\mathbf{a},\tilde{\mathbf{a}})\text{鞍点在}({\mathbf{a}}^{\ast },{\tilde{\mathbf{a}}}^{\ast })$$

• 前向 $a$ 沿下降方向 → 推理
• 反向 $\tilde{a}$ 沿上升方向 → 信用分配

6.3 Maslov 退量化

$$(\mathbb{R},+,\times )\stackrel{\epsilon \to 0}{\to }(\mathbb{R},\max ,+)$$

6.4 Hopf-Cole 变换

$$u=-\epsilon \log v⟹v\text{ 满足线性热方程}$$

6.5 Pontryagin 最大值原理

ResNet 的反向传播 = Hamiltonian 系统的协态方程

7. 应用

7.1 神经形态硬件

• 物理反传：可在物理系统（光、量子、模拟电路）中实现
• HJ 理论：可通过 PDE 求解器实现网络

7.2 架构设计

• $\epsilon$ 调节：控制鲁棒性-精度权衡
• 温度退火：训练策略的物理基础
• 灾难性遗忘：fold bifurcation 的物理解释

7.3 训练策略

• 优化器设计：从物理原理推导新方法
• 学习率调度：HJ 视角的最优调度
• 正则化：黏性系数作为正则化强度

8. 关键论文清单

论文	arXiv	核心贡献
Backpropagation as Physical Relaxation	arXiv:2602.02281	对偶状态空间、$2L$ 步精确恢复
Equilibrium Propagation for Non-Conservative	arXiv:2602.03670	EP 扩展到非保守系统
Hamilton-Jacobi Theory of DL	arXiv:2605.28983	$\epsilon$ 统一理论

9. 未来方向

9.1 短期

1. 在神经形态硬件实现物理反传
2. 基于 HJ 理论设计新架构
3. 探索 $\epsilon$ 调度算法

9.2 中期

1. 物理反传与生物学习的对应
2. HJ 视角下的优化器理论
3. 与量子机器学习的联系

9.3 长期

1. 通用物理学习理论
2. 跨学科融合（物理 + 神经科学 + AI）

10. 相关 Wiki 主题

• [[backpropagation-algorithm|反向传播算法]] - 基础算法
• [[../machine-learning/autodiff/index|自动微分索引]] - AD 框架
• [[../machine-learning/neural-odes-continuous-depth-networks|神经 ODE]]
• [[../machine-learning/resnet-hamiltonian-feature-learning|ResNet 哈密顿特征学习]]
• [[../machine-learning/energy-based-models-deep-learning|能量基础模型]]
• [[../machine-learning/neural-thermodynamics-statistical-physics|神经热力学]]

---

Last updated: 2026-06-21