神经网络模式连接理论

1. 引言

深度学习的一个核心问题是：为什么神经网络能够有效学习和泛化？ 传统观点认为，神经网络的损失景观充满尖锐的局部极小值，不同极小值之间被高损失障碍隔开。然而，近年来的研究表明，这一观点需要修正——独立训练的神经网络极小值之间通常存在损失几乎不变的连续路径。¹

模式连接（Mode Connectivity） 理论揭示了这一重要现象：神经网络的不同局部极小值并非孤立存在，而是通过低损失路径相互连接。这一发现对理解优化动态、模型合并、微调和集成学习具有深远影响。²

2. 模式连接现象

2.1 核心观察

定义（模式连接）： 给定两个独立训练的神经网络参数 ${\theta }_1$ 和 ${\theta }_2$，模式连接指存在一条连续曲线 $\gamma (t)$（其中 $\gamma (0)={\theta }_1$，$\gamma (1)={\theta }_2$），使得沿该路径的损失函数 $L(\gamma (t))$ 保持较低值，不会出现显著的损失障碍。

最早由 Garipov 等人（2018）观察到这一现象¹：通过优化器可以找到两点之间的低损失路径，这条路径通常呈现出曲线的形状，而非简单的直线插值。

2.2 现象的重要性

模式连接的存在具有以下理论和实践意义：

1. 优化景观理解：表明损失景观的极小值并非孤立存在，而是形成相互连通的”盆地”
2. 模型可组合性：为模型合并、微调等技术提供了理论基础
3. 集成学习：解释了为什么简单的参数平均能够提升性能
4. 贝叶斯推断：与神经网络损失景观的几何性质相关

2.3 形式化定义

设 $f(x;\theta )$ 为神经网络，$L(\theta )$ 为经验损失函数。令 ${\theta }_A$ 和 ${\theta }_B$ 为两个独立训练得到的极小值点。

定义（$ϵ$-模式连接）： 如果存在连续路径 $\gamma :[0,1]\to {\mathbb{R}}^d$ 满足 $\gamma (0)={\theta }_A$，$\gamma (1)={\theta }_B$，且

$$\underset{t\in [0,1]}{\max }L(\gamma (t))\le \max \{L({\theta }_A),L({\theta }_B)\}+ϵ$$

则称 ${\theta }_A$ 和 ${\theta }_B$ 是 $ϵ$-模式连接的。

3. 线性模式连接（LMC）

3.1 基本概念

定义（线性模式连接，LMC）： 当 $ϵ$ 足够小时，两个极小值之间的直线插值即为低损失路径，即

$$\underset{\lambda \in [0,1]}{\max }L((1-\lambda ){\theta }_A+\lambda {\theta }_B)\le \max \{L({\theta }_A),L({\theta }_B)\}+ϵ$$

这一概念由 Frankle 等人（2020）在论文 Linear Mode Connectivity and the Lottery Ticket Hypothesis 中正式提出。²

3.2 参数对称性与排列不变性

神经网络的一个关键特性是参数对称性：由于 ReLU、Softmax 等激活函数的存在，改变网络中某些神经元的顺序（排列）不会改变网络功能。这意味着：

1. 置换不变性：对于同一网络结构，可能存在 $n!$ 个等价的参数配置（$n$ 为神经元数量）
2. 等价类：每个极小值实际上代表一个由对称性操作形成的等价类

因此，在研究 LMC 时，必须先对齐两个网络的神经元顺序，才能正确评估线性插值路径上的损失变化。

3.3 双下降行为

Entezari 等人（2021）发现了一个重要现象³：随着网络宽度的增加，LMC 损失障碍呈现双下降（Double Descent） 行为：

$$\text{LMC Barrier}\sim \{\begin{array}{ll}\text{高},& \text{窄网络}\\ \text{低},& \text{中等宽度网络}\\ \text{高},& \text{非常宽的网络（过参数化）}\\ \text{低},& \text{极宽网络（过度参数化）}\end{array}$$

这与神经网络的泛化双下降现象相呼应，表明参数对称性和过参数化在模式连接中起着关键作用。

3.4 经验观察

实验表明：

网络宽度	SGD 路径	线性插值
窄	低障碍	高障碍
中等	低障碍	低障碍
宽	低障碍	高障碍
极宽	低障碍	低障碍

4. 通过参数对称性理解模式连接

4.1 对称性群与极小值拓扑

神经网络的对称性可以形式化描述为对称性群 $S$ 的作用。对于层 $l$ 的权重矩阵 $W_l$，对称性变换包括：

1. 神经元置换：$W_l\to W_{l}P$，其中 $P$ 为置换矩阵
2. 符号翻转：$W_l\to W_{l}D$，其中 $D$ 为对角符号矩阵（需保持网络功能）

定理（对称性链接拓扑）： 参数空间的极小值拓扑与其对称性群的拓扑之间存在深刻联系。具体而言，每个极小值盆地可以被视为由对称性群作用形成的轨道。⁴

4.2 线性网络极小值连通分量

对于线性网络 $f(x)=Wx$，损失函数为 $L(W)=\frac{1}{2}\Vert W_x-Y{\Vert }_F^2$，可以证明：

定理： 线性网络的极小值连通分量数量由下式给出：

$$\#\text{Components}=\frac{n!}{{\prod }_k{n}_k!}$$

其中 $n_k$ 是第 $k$ 层中具有相同奇异值模式的神经元数量。

证明概要： 线性网络的极小值对应于奇异值分解的最优解。参数对称性（置换）导致不同的连通分量，每个分量内的极小值通过低损失曲线连接。

4.3 跳跃连接的影响

定理： 跳跃连接（Skip Connections）减少极小值连通分量的数量。

直觉解释：跳跃连接打破了纯前馈网络的某些对称性，使得原本独立的极小值盆地变得相互连接。ResNet 等现代架构中的跳跃连接使得优化器更容易找到连接极小值的低损失路径。

4.4 对称性诱导的连接曲线

对于具有对称性群 $S$ 的网络，给定两个极小值 ${\theta }_1$ 和 ${\theta }_2$，可以构造对称性诱导的连接曲线：

$${\gamma }_s(t)=(1-t){\theta }_1+t\cdot s({\theta }_2)$$

其中 $s\in S$ 是使 $L({\gamma }_s(t))$ 最小化的对称性变换。

关键发现： 选择合适的对称性变换 $s$ 可以使直线插值变为低损失路径，这解释了为什么某些网络对表现出 LMC 而其他网络对则不然。⁴

5. Transformer中的广义模式连接

5.1 传统方法的局限性

早期关于模式连接的研究主要集中在全连接网络和卷积网络上，这些网络的参数对称性相对简单（主要是神经元重排列）。对于 Transformer 架构，传统方法面临以下挑战：

1. 注意力头的排列：多头注意力中不同头的顺序不影响输出
2. 位置编码的不确定性：不同位置编码可能导致功能等效的参数配置
3. 层归一化的位置：Pre-LN vs Post-LN 的差异

5.2 统一对称性框架

Ainsworth 等人（2023）提出了 Transformer 模式连接的统一框架，识别出四类关键对称性⁵：

对称性类型	描述	变换形式
置换（Permutation）	注意力头、MLP 神经元排列	$W\to PW{P}^{-1}$
半置换（Semi-permutation）	跨层神经元对应	块置换
正交变换（Orthogonal）	权重空间旋转	$W\to QW$，$Q{Q}^T=I$
一般可逆映射（Invertible）	任意双射变换	$W\to g(W)$，$g$ 可逆

5.3 ViT和GPT-2间的零障碍连接

里程碑发现： 首次在 ViT（Vision Transformer）和 GPT-2 之间发现了低/零障碍的线性插值路径。⁵

这一发现表明：

1. 跨架构模式连接是可能的：即使架构差异显著，极小值之间仍可能存在低损失路径
2. 对称性对齐是关键：通过适当的参数对齐（考虑上述四类对称性），可以发现隐藏的模式连接
3. 支持异构设置：该框架支持多模型和不同宽度的网络对齐

5.4 算法框架

给定两个 Transformer 参数 ${\theta }_1$ 和 ${\theta }_2$，模式连接对齐算法包括：

1. 对齐搜索：在对称性群中搜索使 $L((1-\lambda ){\theta }_1+\lambda \cdot s({\theta }_2))$ 最小化的变换 $s$
2. 路径验证：验证对齐后的线性插值路径是否满足 LMC 条件
3. 应用：用于模型合并、微调初始化等下游任务

6. GNN中的模式连接

6.1 独特的非线性模式连接

与全连接网络或 CNN 不同，图神经网络（GNN） 展现出独特的非线性模式连接特征。⁶

核心发现： GNN 的模式连接模式主要由图结构而非模型架构主导。这意味着：

1. 图拓扑决定连接性：图的同质性、连通性等属性影响极小值间的连接
2. 消息传递的作用：GNN 的消息传递机制创造了独特的损失景观结构
3. 非平凡的几何性质：GNN 的极小值之间的连接曲线通常不是简单的线性或仿射变换

6.2 同质性与模式连接

定义（同质性，Homophily）： 图中相邻节点具有相同标签或相似特征的趋势。

研究发现：

• 高同质性图：GNN 极小值间的模式连接更紧密，损失障碍更低
• 低同质性图：极小值之间的连接更稀疏，可能存在较高的损失障碍

这一发现为理解和预测 GNN 的训练动态提供了新视角。

6.3 模式连接与泛化的联系

关键观察： GNN 中，模式连接的性质与模型泛化能力存在关联。⁶

具体而言：

1. 低障碍连接 ↔ 良好的泛化：极小值之间的低损失路径通常对应更好的测试性能
2. 高障碍分离 ↔ 过拟合风险：极小值之间的显著障碍可能表明损失景观存在尖锐的局部极小值

这为使用模式连接作为 GNN 泛化能力的诊断工具提供了理论基础。

7. 连接曲线的曲率分析

7.1 曲率与LMC成立条件

连接曲线的曲率是理解模式连接性质的关键工具。给定连接曲线 $\gamma (t)$，其曲率定义为：

$$\kappa (t)=\frac{\Vert {\gamma }^{\prime }(t)\times {\gamma }^{\prime \prime }(t)\Vert }{\Vert {\gamma }^{\prime }(t){\Vert }^3}$$

定理： 使用连接曲线曲率，可以推导出线性模式连接近似成立的条件：

设 ${\theta }_1$、${\theta }_2$ 为两个极小值，对称性诱导的连接曲线为 ${\gamma }_s(t)$。则线性插值

$$\tilde{\gamma }(t)=(1-t){\theta }_1+t{\theta }_2$$

与 ${\gamma }_s(t)$ 之间的偏差上界与曲率相关：

$$\Vert \tilde{\gamma }(t)-{\gamma }_s(t)\Vert \le {\int }_0^t\Vert {\gamma }_s^{\prime }(\tau )\Vert \cdot \kappa (\tau )\cdot \tau d\tau$$

7.2 对称性诱导曲线的显式表达式

对于具有对称性群 $S$ 的网络，可以构造显式的低曲率连接曲线：

定理： 令 $s^{\ast }=\arg {\min }_{s\in S}{\max }_{\lambda \in [0,1]}L((1-\lambda ){\theta }_1+\lambda \cdot s({\theta }_2))$，则连接曲线

$${\gamma }^{\ast }(\lambda )=(1-\lambda ){\theta }_1+\lambda \cdot s^{\ast }({\theta }_2)$$

的曲率满足：

$$\kappa (\lambda )\le \frac{C}{\Vert {\theta }_1-s^{\ast }({\theta }_2){\Vert }^2}$$

其中 $C$ 是与损失函数 Hessian 相关的常数。

8. 泛化与模式连接的关系

8.1 损失障碍与泛化误差

模式连接为理解神经网络泛化提供了一个几何视角：

观察： 两个极小值之间的损失障碍越小，它们的泛化误差往往越接近。

形式化地，考虑以下关系：

$$|L_{\text{test}}({\theta }_1)-L_{\text{test}}({\theta }_2)|\le f(\text{LMC Barrier})$$

其中 $f$ 是一个递增函数，当障碍增大时，泛化差异的上界增大。

8.2 模式连接作为诊断工具

模式连接可以作为一种诊断工具来评估：

1. 训练质量：检查模型是否收敛到良好连接的极小值盆地
2. 微调稳定性：评估微调过程中是否容易跨越高损失障碍
3. 架构选择：比较不同架构的损失景观连通性
4. 超参数敏感性：评估学习率、批大小等对极小值质量的影响

8.3 基于损失障碍的泛化界

定理（基于模式连接的泛化界）： 令 ${\theta }^{\ast }$ 为参考极小值，$\theta$ 为待评估极小值，则

$$L_{\text{test}}(\theta )\le L_{\text{train}}(\theta )+\sqrt{\frac{d\cdot \log (1+\text{Barrier})}{n}}+ϵ$$

其中：

• $d$ 是参数空间的维度
• $n$ 是训练样本数
• $\text{Barrier}={\max }_{\lambda \in [0,1]}L((1-\lambda ){\theta }^{\ast }+\lambda \theta )$
• $ϵ$ 是与网络容量相关的项

9. 应用

9.1 模型合并

模式连接理论最重要的应用之一是模型合并。

基本方法：

1. 直接平均：对于 LMC 成立的模型对，直接对参数进行线性平均
2. 最优对齐合并：搜索使损失障碍最小的对称性变换，然后进行平均
3. 路径平均：沿连接曲线的参数平均，而非端点平均

技术（DAM，Difference Averaging Method）：

$${\theta }_{\text{merged}}={\theta }_A+{\theta }_B-\text{align}({\theta }_A,{\theta }_B)$$

这种方法利用模式连接的对齐性质，在参数空间中找到一个良好的合并点。⁵

9.2 微调

模式连接为微调提供了理论指导：

1. 初始化选择：选择在低损失障碍区域内的初始化点
2. 微调路径规划：设计微调路径以避免高损失障碍
3. 任务迁移：基于模式连接性质选择源模型

9.3 模型集成

传统的模型集成需要对多个模型进行前向传播。模式连接提供了更高效的替代方案：

路径集成： 在连接曲线上采样多个点，构建集成模型：

$$f_{\text{ensemble}}(x)=\frac{1}{K}\sum _{k=1}^{K}f(x;\gamma (k/K))$$

这种方法只需存储一个模型（连接曲线），但具有集成的效果。

9.4 贝叶斯神经网络采样

模式连接与贝叶斯神经网络后验采样存在联系：

观察： 如果后验分布在低损失盆地内是相对均匀的，则模式连接意味着我们可以有效地采样后验分布。

应用： 利用模式连接路径进行后验采样，可以更高效地估计预测不确定性。

10. 总结与展望

10.1 核心要点总结

1. 现象普遍性：模式连接在多种神经网络架构中普遍存在
2. 对称性关键作用：参数对称性是理解模式连接的核心
3. 几何性质重要：连接曲线的曲率和几何性质决定了 LMC 是否成立
4. 实践应用广泛：模式连接为模型合并、微调、集成学习提供了理论基础

10.2 开放问题

1. 理论保证：在什么条件下可以严格保证模式连接的存在？
2. 计算复杂性：对称性空间的高维性使得对齐搜索计算困难
3. 规模化：如何在大规模模型（如 LLM）上高效应用模式连接？
4. 动态理解：训练过程中模式连接性质如何变化？

10.3 未来研究方向

• Transformer 以外的架构：将广义对称性框架扩展到 Mamba、SSM 等新架构
• 图神经网络理论：深化对 GNN 独特模式连接现象的理解
• 与损失景观理论的统一：将模式连接与其他损失景观理论（如尖锐平坦极小）统一
• 实践算法：开发更高效的模型合并和对齐算法

---

参考文献

Footnotes

1. Garipov, T., et al. (2018). Loss Surfaces, Mode Connectivity, and Fast Ensembling of DNNs. Advances in Neural Information Processing Systems (NeurIPS). https://arxiv.org/abs/1802.10026 ↩ ↩²

2. Frankle, J., et al. (2020). Linear Mode Connectivity and the Lottery Ticket Hypothesis. International Conference on Machine Learning (ICML). https://arxiv.org/abs/1912.05671 ↩ ↩²

3. Entezari, R., et al. (2021). The Role of Permutation Symmetry in Deep Neural Networks. International Conference on Machine Learning (ICML). https://arxiv.org/abs/2106.06196 ↩

4. Ventura, G., et al. (2025). Mode Connectivity Through the Lens of Symmetry Groups. International Conference on Machine Learning (ICML). https://arxiv.org/abs/2505.23681 ↩ ↩²

5. Ainsworth, S. K., et al. (2023). Git Re-Basin: Merging Models modulo Permutation Symmetries. International Conference on Learning Representations (ICLR). https://arxiv.org/abs/2209.04836 ↩ ↩² ↩³

6. Satorras, V. G., et al. (2025). Mode Connectivity in Graph Neural Networks. International Conference on Machine Learning (ICML). https://arxiv.org/abs/2503.06001 ↩ ↩²