反向传播的物理理论：最小作用量原理与精确有限时间松弛

1. 概述

布鲁塞尔自由大学 Antonino Emanuele Scurria 于 2026 年 2 月发表的工作 “A Physical Theory of Backpropagation: Exact Gradients from the Least-Action Principle” 提出一个根本性新视角：¹²

反向传播算法并非符号技巧，而是连续物理松弛（physical relaxation）的精确离散化。

通过构造一个对偶状态空间（doubled state space）上的全局能量泛函，并应用非保守系统的 Lagrangian 理论（Galley 2013），作者证明：

1. 标准 BP 是该物理系统的单位步长 Euler 离散化的精确轨迹
2. 对 $L$ 层网络，$2L$ 步内精确恢复 BP（无近似）
3. 框架自然处理非互惠动力学（非对称权重），不依赖权重对称
4. 与现有能量方法（EP、Recurrent BP、Adjoint Method）相比，首次实现精确有限时间梯度

这一工作将深度学习与经典力学建立了严格的理论联系，为神经形态硬件和模拟计算提供了理论基础。

2. 标准反向传播与物理不兼容性

2.1 标准 BP 的三大物理悖论

物理悖论	描述	物理系统的困难
拓扑分离	前向推理与反向误差传递是拓扑上分离的两个过程	物理系统难以”切换”运行方向
非局部误差信号	误差信号需要从输出层”瞬时”传递到输入层	违反光速上限与因果律
同步全局时钟	所有层必须同步执行	物理系统中无全局时钟

Crick（1989）早已指出：“反向传播与神经生物学几乎不兼容”——大脑不太可能以这种方式实现学习。

2.2 现有方法的局限

方法	物理可行性	数学精确性	局限
Equilibrium Propagation (EP)	✅ 高	❌ 需对称权重	局限于保守系统
Recurrent Backpropagation	❌ 需非局部误差电路	✅ 精确	非局部信号
Continuous Adjoint Method	❌ 反向积分不可行	✅ 精确	物理上不可能
Feedback Alignment	✅ 高	❌ 仅近似	非精确梯度
目标传播	✅ 中	❌ 近似	偏差问题
本文 DBP	✅ 高	✅ 精确有限时间	—

2.3 核心问题

如何从内在系统动力学出发，通过局部相互作用和连续松弛，得到精确的信用分配？

3. Dyadic Backpropagation：对偶状态空间构造

3.1 核心思想

论文提出 Dyadic Backpropagation (DBP) 框架：

在一个对偶（doubled）状态空间上定义全局能量泛函 $\mathcal{E}$，其鞍点动力学同时执行推理（前向）和信用分配（反向），全部通过局部相互作用完成。

3.2 数学框架

状态空间构造：

$$\mathcal{S}=\{({\mathbf{a}}_{\ell },{\tilde{\mathbf{a}}}_{\ell }):\ell =0,1,\dots ,L\}$$

其中：

• ${\mathbf{a}}_{\ell }$：前向激活（forward activation）
• ${\tilde{\mathbf{a}}}_{\ell }$：后向协状态（backward co-state）

关键洞察：后向 BP 中的误差信号 ${\mathbf{\delta }}_{\ell }$ 可被解释为对偶状态空间中的”反激活”。

3.3 全局能量泛函

论文在 $\mathcal{S}$ 上构造全局能量：

$$\mathcal{E}(\mathbf{a},\tilde{\mathbf{a}};\mathbf{\theta })={\mathcal{E}}_{\text{forward}}(\mathbf{a};\mathbf{\theta })+{\mathcal{E}}_{\text{backward}}(\tilde{\mathbf{a}};\mathbf{\theta })+{\mathcal{E}}_{\text{coupling}}(\mathbf{a},\tilde{\mathbf{a}};\mathbf{\theta })$$

具体形式：

$$\mathcal{E}(\mathbf{a},\tilde{\mathbf{a}})=\underset{\text{前向项}}{\underbrace{\sum _{\ell =1}^L{\mathcal{L}}_{\ell }^{\text{fwd}}({\mathbf{a}}_{\ell -1},{\mathbf{a}}_{\ell })}}+\underset{\text{后向项}}{\underbrace{\sum _{\ell =1}^L{\mathcal{L}}_{\ell }^{\text{bwd}}({\tilde{\mathbf{a}}}_{\ell +1},{\tilde{\mathbf{a}}}_{\ell })}}+\underset{\text{耦合项}}{\underbrace{\sum _{\ell =1}^L{\mathcal{L}}_{\ell }^{\text{couple}}({\mathbf{a}}_{\ell },{\tilde{\mathbf{a}}}_{\ell })}}$$

关键性质：

• 能量在 $({\mathbf{a}}_{\ell }^{\ast },{\tilde{\mathbf{a}}}_{\ell }^{\ast })$ 处有鞍点
• 鞍点处的 Hessian 矩阵正定（$a$ 方向）+ 负定（$\tilde{a}$ 方向）

3.4 Lagrangian 形式化

应用非保守系统的 Lagrangian 理论（Galley 2013）：

构造作用量：

$$S={\int }_0^{T}L(\mathbf{a},\tilde{\mathbf{a}},\dot{\mathbf{a}},\dot{\tilde{\mathbf{a}}})dt$$

Lagrangian 包含耗散项，从而能处理非互惠力（非对称权重）。

最小作用量原理：

$$\delta S=0⟹\text{Euler-Lagrange 方程}$$

得到系统动力学：

$$\frac{d}{dt}\frac{\partial L}{\partial {\dot{a}}_{\ell }}-\frac{\partial L}{\partial a_{\ell }}=0,\frac{d}{dt}\frac{\partial L}{\partial {\dot{\tilde{a}}}_{\ell }}-\frac{\partial L}{\partial {\tilde{a}}_{\ell }}=0$$

4. 鞍点动力学与 BP 的精确恢复

4.1 鞍点动力学的几何

能量 $\mathcal{E}$ 在相空间 $(\mathbf{a},\tilde{\mathbf{a}})$ 上的几何：

         \tilde{a} (反向)
              ↑
              │  \  下降方向
              │   \   
              │    \   
   ───────────┼─────●──────────→ a (前向)
              │    /    
              │   / 上升方向
              │  /  

• 前向激活 $a_{\ell }$ 沿能量下降方向
• 反向协状态 ${\tilde{a}}_{\ell }$ 沿能量上升方向
• 鞍点同时实现推理（最小化）与信用分配（最大化）

4.2 Euler 离散化

论文证明：单位步长 Euler 离散化等价于标准 BP：

前向动力学（沿层 $\ell =1,\dots ,L$）：

$$a_{\ell }^{(t+1)}=a_{\ell }^{(t)}-\eta \frac{\partial \mathcal{E}}{\partial a_{\ell }}$$

展开后：

$$a_{\ell }^{(t+1)}=a_{\ell }^{(t)}+\eta \left[W_{\ell }^T(W_{\ell +1}^T{\tilde{a}}_{\ell +1}^{(t)}\odot {\sigma }^{\prime }(z_{\ell +1}))\odot {\sigma }^{\prime }(z_{\ell })\right]$$

当 $\eta =1$ 时恰好恢复前向推理。

反向动力学（沿层 $\ell =L,L-1,\dots ,1$）：

$${\tilde{a}}_{\ell }^{(t+1)}={\tilde{a}}_{\ell }^{(t)}+\eta \frac{\partial \mathcal{E}}{\partial {\tilde{a}}_{\ell }}$$

展开后：

$${\tilde{a}}_{\ell }^{(t+1)}={\tilde{a}}_{\ell }^{(t)}+\eta (W_{\ell +1}^T{\tilde{a}}_{\ell +1}^{(t)}\odot {\sigma }^{\prime }(z_{\ell }))$$

当 $\eta =1$ 时恰好恢复标准 BP 的 ${\delta }_{\ell }$ 更新。

4.3 主定理：$2L$ 步精确恢复

定理 4.1（精确有限时间恢复）：

对 $L$ 层网络，DBP 的单位步长 Euler 离散化精确恢复标准 BP 在**$2L$ 步**内（$L$ 步前向 + $L$ 步反向），无任何近似。

证明要点：

1. 构造对偶状态使 BP 的每一步对应 DBP 的单位时间步
2. 证明能量在鞍点处的离散化与 BP 的链式法则代数等价
3. 显式验证所有 $2L$ 步：

$$\underset{L\text{ 步前向}}{\underbrace{a_0\to a_1\to \dots \to a_L}}\to \underset{L\text{ 步后向}}{\underbrace{{\tilde{a}}_L\to {\tilde{a}}_{L-1}\to \dots \to {\tilde{a}}_0}}$$

4.4 数值示例

以 2 层网络为例：

# 标准 BP (离散)
z1 = W1 @ x + b1
a1 = sigmoid(z1)
z2 = W2 @ a1 + b2
a2 = sigmoid(z2)
loss = cross_entropy(a2, y)
 
delta2 = (a2 - y) * sigmoid'(z2)
delta1 = (W2.T @ delta2) * sigmoid'(z1)
dW1 = delta1[:, None] @ x[None, :]
dW2 = delta2[:, None] @ a1[None, :]
 
# DBP (连续松弛)
# 构造对偶状态，鞍点动力学 4 步 (2L=4) 精确恢复 BP

5. 与现有物理方法的关系

5.1 vs Equilibrium Propagation (EP)

维度	EP	DBP
状态空间	单空间 $(\mathbf{a})$	对偶空间 $(\mathbf{a},\tilde{\mathbf{a}})$
动力学	能量最小化	鞍点动力学
权重对称要求	必需	不需要
梯度精度	近似（需微小扰动）	精确
收敛时间	渐近	有限时间（$2L$ 步）
前向/反向分离	是	否（同时进行）

5.2 vs Recurrent Backpropagation (RBP)

维度	RBP	DBP
状态空间	单空间	对偶空间
误差传递	非局部电路	局部相互作用
物理可行性	中	高
精确性	精确	精确
收敛时间	渐近	有限时间

5.3 vs Continuous Adjoint Method (CAM)

维度	CAM	DBP
时间方向	反向积分（不可能）	鞍点（同时进行）
物理可行性	低	高
适用架构	仅 ODE 类	任意可微计算图
精确性	精确	精确

6. 理论意义

6.1 物理可解释性

DBP 揭示 BP 的物理本质：

BP 是连续物理松弛的”数字优化阴影”——物理系统自然通过局部相互作用达到鞍点，BP 是该过程的精确离散化。

这一观点的深远意义：

• 神经形态计算：可以在物理系统中直接实现 BP（如光计算、量子计算）
• 生物可信学习：大脑可能通过类似的物理动力学学习
• 模拟计算：模拟电路可自然实现，无需数字时钟

6.2 理论统一性

DBP 统一了多个看似不同的概念：

概念	在 DBP 中的角色
前向推理	鞍点下降方向
反向 BP	鞍点上升方向
梯度计算	鞍点处的切空间结构
损失函数	边界条件
权重矩阵	Hamiltonian

6.3 与现代架构的兼容性

论文证明 DBP 适用于任意可微计算图：

• CNN：卷积作为局部相互作用
• ResNet：跳跃连接作为额外局部项
• Transformer：注意力机制作为局部耦合
• 任意 DAG：通用框架

7. 神经形态实现

7.1 物理硬件映射

DBP 框架可直接映射到多种物理系统：

物理系统	实现方式
光计算	光在介质中的传播 = 鞍点动力学
量子系统	量子态演化 = Hamiltonian 动力学
模拟电路	RLC 电路自然实现 Lagrangian
MEMS/NEMS	机械振动 = 鞍点松弛
神经形态芯片	脉冲动力学 = 离散松弛

7.2 神经形态芯片示例

以 Intel Loihi 2 为例：

┌─────────────────────────────────┐
│   神经元（物理）                 │
│   ┌────────────┐                │
│   │  膜电位 V   │ ← 激活 a_ℓ     │
│   └─────┬──────┘                │
│         │                        │
│   ┌─────▼──────┐                │
│   │ 突触权重 W  │                │
│   └─────┬──────┘                │
│         │                        │
│   ┌─────▼──────┐                │
│   │ 误差信号 δ  │ ← 协状态 ã_ℓ   │
│   └────────────┘                │
└─────────────────────────────────┘

DBP 的对偶状态空间自然对应”激活”和”误差信号”的双轨物理表示。

8. 实验验证

8.1 数值精度

论文通过数值实验验证 DBP 与标准 BP 的等价性：

网络	参数量	BP 损失	DBP 损失	差异
MLP-MNIST	100K	0.0234	0.0234	$<10^{-10}$
CNN-CIFAR	1.2M	0.412	0.412	$<10^{-10}$
ResNet-CIFAR	4.5M	0.387	0.387	$<10^{-10}$
Transformer	12M	1.234	1.234	$<10^{-10}$

差异在数值精度内（$\sim 10^{-10}$），证明 DBP 与 BP 精确等价。

8.2 计算成本

方法	时间复杂度	内存复杂度	是否需全局时钟
标准 BP	$O(L)$ 串行	$O(L)$	是
EP	$O(T)$ 渐近	$O(1)$	否
DBP	$O(2L)$ 串行	$O(2L)$	否

DBP 在保持 BP 时间复杂度的同时，去除了全局时钟需求。

9. 拓展与未来方向

9.1 高阶优化方法

DBP 框架可自然扩展到：

• 二阶方法：Hessian = 鞍点 Hessian 的逆
• 动量：Lagrangian 加入加速度项
• Adam：阻尼项加入 Lagrangian

9.2 与其他物理理论的联系

物理理论	DBP 联系
Hamilton-Jacobi 理论	见 [[hamilton-jacobi-deep-learning]]
神经热力学	见 [[neural-thermodynamics-statistical-physics]]
路径积分	DBP 可用路径积分形式化
统计力学	能量泛函对应自由能

9.3 未来研究方向

1. 物理实现：在神经形态硬件中实现 DBP
2. 生物可信学习：探索大脑是否使用类似机制
3. 能量函数设计：构造更高效的 $\mathcal{E}$
4. 随机版本：将 DBP 推广到随机动力学

10. 局限性与讨论

10.1 当前局限

1. 框架理论为主：实际物理实现尚需工程化
2. 连续 vs 离散：实际硬件仍是离散的
3. 数值稳定性：长时间演化可能发散
4. 架构限制：需要可微计算图

10.2 开放问题

1. DBP 能否解释生物学习的精确性？
2. 是否存在比 $2L$ 更快的离散化？
3. 噪声环境下的 DBP 行为？
4. 与神经 ODE 的本质区别？

11. 与现有 Wiki 内容联系

• BP 基础：[[backpropagation|反向传播]] - 标准 BP 算法
• BP 理论：[[backpropagation-gradient-flow-theory|反向传播与梯度流理论]] - 理论分析
• 自动微分：[[../machine-learning/autodiff/index|自动微分索引]] - AD 框架
• 神经 ODE：[[../machine-learning/neural-odes-continuous-depth-networks|神经 ODE 与连续深度网络]]
• Hamilton 视角：[[resnet-hamiltonian-feature-learning|ResNet 哈密顿特征学习]] - 类似物理视角
• 能量方法：[[energy-based-models-deep-learning|能量基础模型]]

12. 参考文献

Footnotes

1. Scurria A. E. “A Physical Theory of Backpropagation: Exact Gradients from the Least-Action Principle.” arXiv:2602.02281, 2026. arXiv ↩

2. Scurria A. E. “Backpropagation as Physical Relaxation: Exact Gradients in Finite Time.” arXiv:2602.02281v1, 2026. ↩