神经网络参数空间对称性

1. 引言与背景

深度学习模型通常具有高度过参数化的特征。以一个典型的大语言模型为例，其参数量可达数十亿甚至万亿级别，但实现特定功能所需的参数空间维度远小于此。这种显著的参数冗余现象，长期以来困扰着研究者：一个训练好的网络究竟学到了什么？

参数空间对称性（Parameter Space Symmetry）为这一问题提供了深刻的洞察¹。对称性指的是保持网络函数 $f(\cdot ;\theta ):{\mathbb{R}}^d\to {\mathbb{R}}^k$ 不变的参数变换。形式化地说，若存在参数变换 $T:\Theta \to \Theta$ 使得

$$f(x;\theta )=f(x;T(\theta )),\forall x\in {\mathbb{R}}^d,$$

则称 $T$ 为网络的一个对称性变换。

这种对称性广泛存在于各类神经网络架构中，从简单的多层感知机到 Transformer，它解释了为什么不同的参数配置可以产生完全相同的输入输出映射。

2. 对称性类型分类

神经网络中存在的对称性可系统地分为以下几类：

2.1 置换对称性（Permutation Symmetry）

置换对称性是最基本也是最普遍的对称性类型。在全连接层中，隐藏单元之间固有的等效性导致了参数的重排列不变性。¹

设有一层网络，其权重矩阵为 $W\in {\mathbb{R}}^{d\times h}$，偏置为 $b\in {\mathbb{R}}^h$。对于任意排列矩阵 $P\in {\mathbb{R}}^{h\times h}$（满足 $P{P}^T=I$），有：

$$\sigma (Wx+b)=\sigma ((WP)(Px)+Pb),$$

其中 $\sigma$ 为非线性激活函数。这意味着 $(W,b)$ 和 $(WP,Pb)$ 产生完全相同的网络函数。

在深层网络中，置换对称性会逐层累积。假设网络有 $L$ 层，每层隐藏单元数为 $h_l$，则总的置换群规模为：

$$|{\mathcal{G}}_{\text{perm}}|=\prod _{l=1}^L{h}_l!,$$

这解释了深层网络中巨大的参数冗余度。

2.2 正交变换（Orthogonal Transformations）

对于某些激活函数和网络结构，权重矩阵的正交变换同样保持网络函数不变。

设激活函数 $\sigma$ 满足 $\sigma (z)=z$（线性激活）或 $\sigma$ 为 ReLU 且输入满足特定对称性条件。对于线性网络：

$$f(x;W)=Wx\Rightarrow f(x;OW)=OWx,$$

其中 $O\in O(d)$ 为正交矩阵。但若 $W$ 可逆，有 $OW=W^{\prime }\in {\mathbb{R}}^{d\times d}$，仍构成有效变换。

对于满足 $\sigma (Qz)=Q\sigma (z)$ 的激活函数（如 ReLU 在正交变换下的行为），更一般的正交对称性成立。

2.3 半置换对称性（Semi-Permutation Symmetry）

在具有跳跃连接（skip connection）的网络中，如 ResNet，存在一种受限的置换对称性——半置换对称性。²

考虑残差块结构：

$$x_{l+1}=x_l+F(x_l;W_l),$$

其中 $F$ 为残差函数。在此结构下，仅在同一残差路径内的层间可以置换，而跨越跳跃连接的对称性被打破。

这意味着半置换对称性群的规模介于平凡群和完整置换群之间：

$${\mathcal{G}}_{\text{semi}}\subset {\mathcal{G}}_{\text{perm}},|{\mathcal{G}}_{\text{semi}}|<|{\mathcal{G}}_{\text{perm}}|.$$

2.4 一般可逆映射（General Invertible Maps）

更一般的对称性变换可以是参数空间上的任意可逆映射，只要它保持网络函数不变。

设 $\varphi :{\mathbb{R}}^d\to {\mathbb{R}}^d$ 为双射。称 $\varphi$ 诱导的对称性为对输入空间的扰动对称性：

$$f(x;\theta )=f({\varphi }^{-1}(x);\theta )+c,$$

其中 $c$ 为常数偏移。这对应于数据增强中的一些变换，如图像的等距变换。

3. 对称性对损失景观的影响

对称性变换在损失景观上诱导出非平凡的几何结构。¹²

3.1 全局最小值流形

由于对称性，损失函数的全局最小值通常不是孤立的点，而是形成高维流形：

$${\mathcal{M}}^{\ast }=\{\theta \in \Theta :\mathcal{L}(\theta )={\mathcal{L}}_{\min }\}.$$

对于具有 $n$ 个全局最小点的网络，其对称性群 $\mathcal{G}$ 作用下轨道的大小即为该流形的”维度”：

$$\text{dim}({\mathcal{M}}^{\ast })\approx \text{dim}(\Theta )-\text{rank}(\mathcal{G}).$$

这种流形结构对优化算法有深远影响：梯度下降可能在流形上”滑动”，导致不同的参数配置收敛到不同的对称等价类。

3.2 损失景观的不变性

对称性变换 $\tau \in \mathcal{G}$ 满足：

$$\mathcal{L}(\theta )=\mathcal{L}(\tau (\theta )).$$

这意味着损失景观在对称性群作用下是不变的，即景观的”外观”在变换下保持一致。

这一性质对于理解曲率结构至关重要。设 ${\nabla }^2\mathcal{L}(\theta )$ 为 Hessian 矩阵，则对称性暗示了在对称轨道上存在零特征值方向：

$${\lambda }_i=0\text{当且仅当}{v}_i\in T_{\theta }\mathcal{G},$$

其中 $T_{\theta }\mathcal{G}$ 为对称性群在 $\theta$ 处的切空间。

3.3 对称性与极小值质量

经验研究表明，神经网络泛化能力与其对称性结构密切相关。对称性破缺（symmetry breaking）程度与模型在未见数据上的表现存在关联。²

具体而言，完全对称的初始点对应平坦的极小值，而训练过程中对称性逐渐破缺，导致更尖锐的极小值被发现。这一过程与深度网络学习层次化表示的机制相吻合。

4. 对称性与学习理论

4.1 对称性破缺与恢复

神经网络的训练过程可以理解为对称性逐步破缺的过程。²

在初始化时，参数对称性保持，网络对输入的所有特征一视同仁。随着训练的进行：

1. 对称性破缺阶段：梯度驱动参数离开初始对称流形
2. 对称性恢复阶段：学习到的表示在功能上呈现对称性（如对称的特征检测器）

这一动态过程与自发的特征学习密切相关。实验观察到，训练后的网络经常涌现出对称的滤波器模式，这与对称性恢复假说一致。

4.2 层次化特征学习

对称性理论为理解层次化特征学习提供了框架。¹

在视觉网络的早期层，对称性通常保持较高（如边缘检测器的对称方向选择性）；

在深层，随着表示的抽象化，局部对称性逐渐让位于更复杂的表示对称性。

设 $h_l(x)$ 为第 $l$ 层激活，则对称性度量可定义为：

$$S(l)=\frac{1}{|\mathcal{G}|}\sum _{\tau \in \mathcal{G}}\text{Corr}(h_l(x),h_l(\tau (x))),$$

其中 $\text{Corr}$ 为相关系数。$S(l)$ 随深度递减表明深层表示的对称性被”打破”以编码更具体的信息。

4.3 表示形成与对称性联系

表示学习本质上是对输入空间对称性结构的发现与利用过程。群等变神经网络（Group Equivariant Neural Networks）通过编码先验对称性实现了更高效的表示学习。

设输入空间 $X$ 上的变换群 $\mathcal{H}$，群等变网络满足：

$$f(\rho (h)\cdot x)={\rho }^{\prime }(h)\cdot f(x),\forall h\in \mathcal{H},$$

其中 $\rho ,{\rho }^{\prime }$ 为群表示。这将对称性从”需要消除的冗余”转变为”可以编码的归纳偏置”。

5. 统一假说：对称性破缺与恢复机制

参数对称性破缺与恢复构成了神经网络层次化学习行为的统一机制，可从三个层次理解：²

5.1 学习动力学层次

神经网络的训练动力学在对称性视角下呈现出清晰的阶段性特征：

阶段	对称性状态	动力学特征
初始化	完全对称	各向同性噪声驱动
早期训练	弱对称破缺	梯度主导，选择性增强
中期训练	显著破缺	表示分化，功能专业化
收敛期	功能对称恢复	稳定的功能模式形成

5.2 模型复杂度层次

对称性为理解模型复杂度提供了新的视角。传统复杂度度量（如 VC 维、Rademacher 复杂度）未充分考虑对称性结构。

引入对称性修正的有效复杂度：

$${\mathcal{C}}_{\text{sym}}(\theta )=\mathcal{C}(\theta )-\log |{\mathcal{G}}_{\theta }|,$$

其中 ${\mathcal{G}}_{\theta }$ 为 $\theta$ 处的稳定化子群。有效复杂度的降低解释了过参数化网络仍能泛化的现象。

5.3 表示形成层次

表示形成过程可视为对称性逐步解耦的过程：

1. 共享对称性：初始层共享输入空间的底层对称性
2. 对称性解耦：随深度增加，不同神经元捕获不同的对称性破缺模式
3. 功能对称性：最终形成在抽象层次上对称的表示

6. 应用与启示

6.1 模型合并（Model Merging）

对称性理论为模型合并提供了理论基础。不同初始化的模型通常收敛到对称等价的参数配置。²

给定两个训练好的模型 ${\theta }_1,{\theta }_2$，其对称性差为：

$$d_{\text{sym}}({\theta }_1,{\theta }_2)=\underset{\tau \in \mathcal{G}}{\min }\Vert {\theta }_1-\tau ({\theta }_2)\Vert .$$

这一定义使得”参数空间距离”与”功能等价性”得以统一处理。模型平均、模型融合等操作在对称性对齐后效果显著提升。

6.2 线性模式连接（Linear Mode Connectivity）

对称性解释了为什么神经网络极小值之间可能存在线性插值路径而不经历损失增加。¹

设 ${\theta }_a,{\theta }_b$ 为两个极小值，路径 $\gamma (t)=(1-t){\theta }_a+t{\theta }_b$ 上损失不增加，当且仅当存在 $\tau \in \mathcal{G}$ 使得：

$${\theta }_b\approx \tau ({\theta }_a),$$

即两者在同一对称性轨道附近。

6.3 贝叶斯神经网络推断

在贝叶斯框架下，对称性影响参数后验分布的结构。完全对称的初始先验在似然驱动下发生对称性破缺，形成多峰后验。³

对称性可用于设计更合理的先验知识：

$$p(\theta )=\prod _{\tau \in \mathcal{G}/\mathcal{H}}{p}_0(\tau (\theta )),$$

其中 $\mathcal{H}$ 为人为打破的对称性子群，$p_0$ 为对称先验。

7. 数学形式化

7.1 对称性群的定义

设神经网络函数为 $f:\mathcal{X}\times \Theta \to \mathcal{Y}$。参数空间对称性群定义为：

$$\mathcal{G}=\{\tau :\Theta \to \Theta \mid f(x;\theta )=f(x;\tau (\theta )),\forall x\in \mathcal{X},\theta \in \Theta \}.$$

$\mathcal{G}$ 满足群的公理：

• 封闭性：${\tau }_1,{\tau }_2\in \mathcal{G}\Rightarrow {\tau }_1\circ {\tau }_2\in \mathcal{G}$
• 单位元：恒等变换 $e\in \mathcal{G}$
• 逆元：$\tau \in \mathcal{G}\Rightarrow {\tau }^{-1}\in \mathcal{G}$
• 结合性：$({\tau }_1\circ {\tau }_2)\circ {\tau }_3={\tau }_1\circ ({\tau }_2\circ {\tau }_3)$

7.2 损失景观的不变性

损失函数 $\mathcal{L}:\Theta \to \mathbb{R}$ 在对称性群作用下不变：

$$\mathcal{L}(\tau (\theta ))=\mathcal{L}(\theta ),\forall \tau \in \mathcal{G}.$$

这导致损失景观的商空间结构：

$$\Theta /\mathcal{G}=\{\mathcal{O}(\theta ):\theta \in \Theta \},$$

其中 $\mathcal{O}(\theta )=\{\tau (\theta ):\tau \in \mathcal{G}\}$ 为轨道。损失函数可自然地下降到这个商空间上。

7.3 对称性群与极小值拓扑

设 ${\theta }^{\ast }$ 为全局极小值，其稳定化子群为：

$${\mathcal{G}}_{{\theta }^{\ast }}=\{\tau \in \mathcal{G}:\tau ({\theta }^{\ast })={\theta }^{\ast }\}.$$

轨道维度与稳定化子维度满足：

$$\text{dim}(\mathcal{O}({\theta }^{\ast }))=\text{dim}(\mathcal{G})-\text{dim}({\mathcal{G}}_{{\theta }^{\ast }}).$$

对于非退化极小值，全局最小值流形为：

$${\mathcal{M}}^{\ast }=\bigcup _{\theta \in {\Theta }^{\ast }}\mathcal{O}(\theta ),$$

其中 ${\Theta }^{\ast }$ 为极小值点的等价类。

8. 参考文献

---

本页面内容涵盖参数空间对称性的理论基础、数学形式化及其在学习理论中的应用，旨在为理解深度学习的优化与泛化提供统一视角。

Footnotes

1. 更形式化的对称性理论框架见 Parameter Space Symmetry in Deep Networks，该工作系统建立了神经网络参数对称性的数学框架。 ↩ ↩² ↩³ ↩⁴ ↩⁵

2. 对称性破缺与学习动力学的关联分析见 Unifying Symmetry Breaking and Recovery in Neural Networks，提出对称性破缺-恢复作为统一学习机制的理论。 ↩ ↩² ↩³ ↩⁴ ↩⁵ ↩⁶

3. 贝叶斯视角下的对称性处理方法可参考相关概率深度学习文献，探讨先验设计中的对称性编码问题。 ↩