Propagation Field：神经传播场几何理论

1. 背景与动机

传统深度学习理论关注的是端点映射 $f:{\mathbb{R}}^d\to {\mathbb{R}}^k$，即输入如何映射到输出。然而，这种视角忽略了一个关键问题：训练过程中，神经网络的内部表示是如何演化的？

2026年提出的Propagation Field（传播场）理论¹提供了一种全新的几何视角，将神经网络重新解释为一个由隐藏态轨迹构成的场。这个框架揭示了一个重要发现：端点等效的模型在传播场几何上可能有数量级的差异，这对于理解泛化、鲁棒性和校准具有深远意义。

2. 核心定义

2.1 神经传播场

给定一个神经网络 $f:{\mathbb{R}}^d\to {\mathbb{R}}^k$，其传播场定义为：

$$\Phi (x_0)=\left\{h_{\tau }(x_0):\tau \in [0,T]\right\}$$

其中：

• $x_0\in {\mathbb{R}}^d$ 是输入
• $h_{\tau }(x_0)$ 是 $\tau$ 层（深度）的隐藏表示
• $T$ 是网络总层数

关键洞察：传播场是一个轨迹族，而不是一个点。

2.2 局部Jacobian算子

传播场的局部性质由Jacobian矩阵刻画：

$$J_{\tau }(x_0)=\frac{\partial h_{\tau }(x_0)}{\partial x_0}\in {\mathbb{R}}^{d_{\tau }\times d}$$

Jacobian算子的性质决定了信息如何在网络中传播。

2.3 传播场的几何量

路径敏感性 (Path Sensitivity)

路径敏感性衡量输入扰动如何沿着轨迹放大：

$$\mathcal{S}(x_0,T)={\int }_0^T\Vert {\partial }_{x_0}{h}_{\tau }(x_0){\Vert }_{F}d\tau$$

其中 $\Vert \cdot {\Vert }_F$ 是Frobenius范数。

Jacobian保留度 (Jacobian Retention)

Jacobian保留度衡量网络保持输入信息的能力：

$$\mathcal{J}(x_0,T)=\frac{1}{T}{\int }_0^T\Vert {\partial }_{x_0}{h}_{\tau }(x_0){\Vert }_F^{2}d\tau$$

求解器一致性 (Solver Consistency)

对于同一输入的两个求解器 $S_1,S_2$：

$$\mathcal{C}(x_0)=\frac{1}{T}{\int }_0^T⟨h_{\tau }^{(1)}(x_0),h_{\tau }^{(2)}(x_0)⟩d\tau$$

3. 端点等效性 vs 轨迹差异

3.1 端点等效模型

传统理论认为：如果两个网络在测试集上表现相同，则它们”等价”。例如：

$$\Vert f_1(x)-f_2(x)\Vert <ϵ,\forall x\in {\mathcal{X}}_{\text{test}}$$

则 $f_1\approx f_2$。

3.2 传播场视角的发现

Propagation Field理论揭示了一个惊人的事实：端点等效的模型在轨迹几何上可能有数量级的差异。

具体例子：

指标	模型A	模型B	比率
$\mathcal{S}$ (路径敏感性)	12.3	156.7	12.7×
$\mathcal{J}$ (Jacobian保留度)	0.89	0.12	7.4×
$\mathcal{C}$ (一致性)	0.95	0.67	1.4×

3.3 这意味着什么？

端点只是轨迹的最后一个点。即使两个轨迹在终点重合，它们的全程路径可能完全不同。

4. 几何分析工具

4.1 曲率分析

传播场的曲率由以下量刻画：

$$\kappa (x_0,\tau )=\frac{\Vert {\partial }_{x_0}^2{h}_{\tau }(x_0){\Vert }_F}{\Vert {\partial }_{x_0}{h}_{\tau }(x_0){\Vert }_F^2}$$

曲率越大，表示网络对输入扰动越敏感。

4.2 平行移动

信息在传播场中的”移动”类似于黎曼几何中的平行移动：

$$h_{\tau +\Delta \tau }\approx P_{\tau \to \tau +\Delta \tau }(h_{\tau })$$

其中 $P$ 是某种联络（connection）。

4.3 测地线

在传播场中，测地线是”最直线”的轨迹：

$${\ddot{h}}_{\tau }+\Gamma (h_{\tau },{\dot{h}}_{\tau })=0$$

其中 $\Gamma$ 是Christoffel符号。

5. 关键发现

5.1 传播场决定泛化

实验发现，传播场的几何性质与泛化能力强相关：

$$\text{Gen}\approx g(\mathcal{S},\mathcal{J},\mathcal{C})$$

具体关系：

• 适中的路径敏感性 $\mathcal{S}$ 与好的泛化相关
• 高的Jacobian保留度 $\mathcal{J}$ 通常有益
• 高求解器一致性 $\mathcal{C}$ 表示稳定的表示学习

5.2 传播场决定鲁棒性

对于对抗样本的鲁棒性：

$$\text{Robust}\approx h(\mathcal{S},\mathcal{J})$$

• 低的路径敏感性 $\mathcal{S}$ 表示对输入扰动不敏感
• 但过于不敏感也会损害正常性能

5.3 传播场决定校准

预测的校准(calibration)与轨迹的几何性质相关：

$$|\mathbb{P}(\hat{y}=y)-\text{conf}(\hat{y})|\approx f(\mathcal{C})$$

高一致性 $\mathcal{C}$ 通常意味着更好的校准。

6. Field-Aware训练

6.1 训练目标

基于Propagation Field理论，可以设计Field-Aware训练：

$${\mathcal{L}}_{\text{FA}}={\mathcal{L}}_{\text{CE}}+{\lambda }_1{\mathcal{L}}_{\text{sens}}+{\lambda }_2{\mathcal{L}}_{\text{ret}}+{\lambda }_3{\mathcal{L}}_{\text{cons}}$$

其中：

• ${\mathcal{L}}_{\text{sens}}=|\mathcal{S}-{\mathcal{S}}^{\ast }|$（敏感性损失）
• ${\mathcal{L}}_{\text{ret}}=-|\mathcal{J}-{\mathcal{J}}^{\ast }|$（保留度损失）
• ${\mathcal{L}}_{\text{cons}}=-\mathcal{C}$（一致性损失）

6.2 目标值的选择

目标	推荐值	理由
${\mathcal{S}}^{\ast }$	中等（0.5-2.0）	避免过度敏感
${\mathcal{J}}^{\ast }$	高（>0.8）	保留输入信息
${\mathcal{C}}^{\ast }$	高（>0.9）	稳定学习

6.3 实验结果

Field-Aware训练在以下任务上取得了改进：

任务	标准训练	Field-Aware	改进
ImageNet分类	76.2%	77.8%	+1.6%
CIFAR-10OOD	67.3%	72.1%	+4.8%
校准误差	0.052	0.031	-40%

7. 与其他理论的关系

7.1 与Learning Mechanics

Propagation Field可以视为Learning Mechanics的微观实现：

• Learning Mechanics：关注宏观分布 ${\rho }_t(\theta )$ 的演化
• Propagation Field：关注隐藏态轨迹 $h_{\tau }(x)$ 的几何

两者通过以下关系连接：

$$⟨f(\theta ){⟩}_{\text{macro}}\leftrightarrow \int \Phi (x)dP(x)$$

7.2 与Neural ODE

Propagation Field与Neural ODE有相似的数学结构：

Neural ODE:

$$\frac{dh}{d\tau }=F(h,\tau ;\theta )$$

Propagation Field:

$$h_{\tau }(x_0)=\text{trajectory starting from }{x}_0$$

主要区别：Propagation Field关注的是一族轨迹（场），而不是单一轨迹。

7.3 与信息瓶颈

信息瓶颈理论关注压缩：

$$\underset{q}{\min }I(X;Z)-\beta I(Z;Y)$$

Propagation Field关注几何：

$$\Phi (x)=\{h_{\tau }(x){\}}_{\tau }$$

几何性质可能比信息论描述更精细。

8. 应用场景

8.1 架构搜索

在神经架构搜索(NAS)中使用传播场指标：

$$\text{Score}(A)=\alpha \cdot \text{Acc}(A)+\beta \cdot \frac{1}{\mathcal{S}(A)}+\gamma \cdot \mathcal{J}(A)$$

8.2 模型选择

使用传播场度量选择更好的初始化或checkpoint：

$${\theta }^{\ast }=\arg \underset{\theta }{\max }\mathcal{C}(\theta )\text{s.t.}\mathcal{L}(\theta )<ϵ$$

8.3 知识蒸馏

设计蒸馏损失以保持教师模型的传播场：

$${\mathcal{L}}_{\text{distill}}=\Vert h_{\tau }^{\text{student}}-P(h_{\tau }^{\text{teacher}}){\Vert }^2$$

8.4 可解释性

分析不同任务如何塑造传播场：

• 分类任务：通常产生高Jacobian保留度
• 生成任务：通常产生低路径敏感性
• 强化学习：传播场结构与策略质量相关

9. 计算方法

9.1 Jacobian的 Efficient计算

使用随机投影法避免完整的Jacobian计算：

$${\tilde{J}}_{\tau }=\frac{1}{k}\sum _{i=1}^k\frac{\partial h_{\tau }}{\partial u_i}\cdot u_i^T$$

其中 $u_i\sim \mathcal{N}(0,I)$ 是随机方向。

9.2 轨迹采样

对于大型模型，使用分层采样：

1. 将层均匀分成 $B$ 个bucket
2. 在每个bucket中随机选择一层
3. 计算该层的几何量

9.3 PyTorch实现

import torch
import torch.nn as nn
from torch.autograd import grad
 
def compute_jacobian_retention(model, x, depth_range=(0, 1.0)):
    """
    计算Jacobian保留度
    """
    x.requires_grad_(True)
    
    # 前向传播记录中间激活
    activations = []
    def hook(module, input, output):
        activations.append(output)
    
    handles = []
    for name, module in model.named_modules():
        if 'relu' in name.lower() or 'linear' in name.lower():
            handles.append(module.register_forward_hook(hook))
    
    # 前向传播
    output = model(x)
    
    # 移除hook
    for h in handles:
        h.remove()
    
    # 计算Jacobian
    n = x.shape[0]
    JTs = []
    for act in activations:
        if act.requires_grad:
            J = grad(act, x, grad_outputs=torch.eye(act.shape[1], device=x.device)[:act.shape[1]], 
                    retain_graph=True, create_graph=True)[0]
            # Jacobian retention
            retention = (J ** 2).sum() / (n * act.shape[1])
            JTs.append(retention)
    
    return torch.stack(JTs).mean()
 
def compute_path_sensitivity(model, x, eps=1e-3):
    """
    计算路径敏感性
    """
    x.requires_grad_(True)
    output = model(x)
    
    # 对每个样本计算梯度范数
    grads = []
    for i in range(x.shape[0]):
        g = grad(output[i].sum(), x, retain_graph=True)[0][i]
        grads.append(g.norm())
    
    return torch.stack(grads).mean()

10. 未来方向

10.1 理论深化

1. 几何度量与泛化的精确关系

   • 目前只有相关性，需要因果解释

2. 跨架构的传播场不变量

   • 是否存在某些几何量跨架构保持不变？

3. 传播场的统计力学

   • 类似于分子运动论，建立传播场的统计描述

10.2 应用扩展

1. 多模态传播场

   • 视觉-语言模型的跨模态传播场

2. 循环网络的传播场

   • 时间维度上的传播场

3. 图神经网络的传播场

   • 消息传递的几何分析

10.3 计算优化

1. 更高效的Jacobian计算

   • Hutchinson方法、幂迭代

2. 传播场的低秩近似

   • 用于大规模分析

11. 总结

Propagation Field理论提供了一个几何视角来理解深度学习，揭示了端点等效模型在轨迹几何上的本质差异。这一发现对于：

• 泛化：几何性质比端点更能预测泛化能力
• 鲁棒性：传播场结构与对抗鲁棒性相关
• 校准：轨迹一致性影响预测校准
• 训练：Field-Aware训练可以改善模型

Propagation Field与Learning Mechanics形成互补，共同构成了深度学习理论的几何-力学框架。

参考文献

相关主题

• Learning Mechanics理论
• Transformer平均场动力学
• 连续深度神经网络
• 黎曼几何泛化理论

Footnotes

1. Gu, Xingrui. “The Propagation Field: A Geometric Substrate Theory of Deep Learning.” arXiv:2605.08529 (2026). ↩