Transformer Gauge Symmetry Theory

1. 引言

Transformer Gauge Symmetry Theory（Transformer规范对称性理论）是理解现代Transformer架构参数冗余与学习动力学的统一数学框架。¹² 该理论将物理中的**规范对称性（gauge symmetry）**概念引入深度学习，揭示了Transformer参数空间中隐藏的连续对称结构。

核心洞察

与传统的离散置换对称性不同，Transformer的连续规范对称性源于其矩阵乘法结构：

• Query-Key矩阵可逆变换：对任意可逆矩阵 $M\in G{L}_d$，同时变换 $W_Q$ 和 $W_K$ 保持注意力分数不变
• Value投影的自由度：$W_V$ 的列空间冗余
• 输出投影的正交性约束：$W_O$ 与 $W_Q$ 的耦合

这种对称性结构在物理中对应规范变换，在深度学习中解释了为什么参数量远大于”功能自由度”。

与参数空间对称性的关系

Transformer Gauge Symmetry是参数空间对称性理论在自注意力架构中的具体化，同时也是参数对称性统一理论的核心案例。

---

2. 规范对称性定义

2.1 数学定义

定义1（Transformer函数映射）：

设Transformer的参数为 $\theta =(W_Q,W_K,W_V,W_O)$，对于输入序列 $X\in {\mathbb{R}}^{n\times d}$，单层注意力输出为：

$$\text{Attention}(X;\theta )=\text{softmax}\left(\frac{(X{W}_Q)(X{W}_K{)}^T}{\sqrt{d_k}}\right)\cdot X{W}_V\cdot W_O^T$$

定义2（$G$-规范对称性）：

如果存在参数变换 ${\tau }_G:\Theta \to \Theta$ 使得对于所有输入 $X$：

$$\text{Attention}(X;\theta )=\text{Attention}(X;{\tau }_G(\theta )),\forall X\in {\mathbb{R}}^{n\times d},$$

则称参数对称性群 $G$ 为Transformer的规范对称性。

2.2 物理类比

物理概念	Transformer对应
规范场	Query/Key投影矩阵
规范变换	可逆矩阵 $M\in G{L}_d$
物理可观测量	网络输出 $f(X;\theta )$
规范固定	特定的参数化选择

这一类比源于两者的共同结构：局部自由度（规范参数）的冗余变换不改变可观测量。

2.3 注意力不变性条件

定理1（注意力分数不变性）：

给定Query矩阵 $Q=X{W}_Q$ 和Key矩阵 $K=X{W}_K$，对于任意可逆矩阵 $M\in G{L}_{d_k}$：

$$(QM)(KM{)}^T=Q{K}^T⟹\text{softmax}\left(\frac{Q{K}^T}{\sqrt{d_k}}\right)=\text{softmax}\left(\frac{QM{M}^T{K}^T}{\sqrt{d_k}}\right)$$

由于 $M$ 和 $M^T$ 的乘积不是恒等变换，完整的对称性需要更精细的分析。

---

3. 完整规范群结构

3.1 Canonical Transformer的规范群

定理2（最大规范对称性）¹：

对于标准Transformer层（GPT-2、BERT、LLaMA、Qwen等），其最大规范对称性群为：

$${\mathcal{G}}_{\max }=\left((GL(d_k){)}^h\times (GL(d_v){)}^h\right)⋊S_h$$

其中：

• $h$ 为注意力头数
• $GL(d_k)$ 作用在每个头的Query-Key空间
• $GL(d_v)$ 作用在每个头的Value空间
• $S_h$ 为头置换群
• $⋊$ 表示半直积

3.2 子群分解

$${\mathcal{G}}_{\max }=\underset{\text{Query-Key变换}}{\underbrace{(GL(d_k){)}^h}}\times \underset{\text{Value变换}}{\underbrace{(GL(d_v){)}^h}}⋊\underset{\text{头置换}}{\underbrace{S_h}}$$

Query-Key空间变换 $(GL(d_k){)}^h$

对于第 $i$ 个头，Query和Key投影可以同时被任意可逆矩阵变换：

$$W_Q^{(i)}\to W_Q^{(i)}{M}_i,W_K^{(i)}\to W_K^{(i)}{M}_i,M_i\in GL(d_k)$$

作用机制：

$$Q_i=X{W}_Q^{(i)}\to X{W}_Q^{(i)}{M}_i,K_i=X{W}_K^{(i)}\to X{W}_K^{(i)}{M}_i$$

注意力分数变为：

$$\frac{Q_i{K}_i^T}{\sqrt{d_k}}\to \frac{X{W}_Q^{(i)}{M}_i{M}_i^T(W_K^{(i)}{)}^T{X}^T}{\sqrt{d_k}}$$

为保持不变性，需要 $M_i{M}_i^T=I$，即 $M_i\in O(d_k)$（正交群）。

Value空间变换 $(GL(d_v){)}^h$

Value投影和输出投影的耦合更为复杂。设：

$$W_V^{(i)}\to W_V^{(i)}{N}_i,W_O^{(i)}\to (N_i{)}^{-1}{W}_O^{(i)},N_i\in GL(d_v)$$

则输出保持不变：

$$X{V}_i{W}_O^{(i)}\to X{W}_V^{(i)}{N}_i(N_i{)}^{-1}{W}_O^{(i)}=X{W}_V^{(i)}{W}_O^{(i)}$$

头置换 $S_h$

不同注意力头之间存在置换对称性：

$${\mathcal{A}}^{(i)}(Q^{(i)},K^{(i)},V^{(i)})={\mathcal{A}}^{(j)}(Q^{(j)},K^{(j)},V^{(j)}),\forall i,j$$

3.3 完整的规范变换

定理3（完整规范变换）¹：

完整的规范变换 $\tau \in {\mathcal{G}}_{\max }$ 作用于参数：

$$\tau \left(\begin{array}{c}{W}_Q^{(i)}\\ W_K^{(i)}\\ W_V^{(i)}\\ W_O^{(i)}\end{array}\right)=\left(\begin{array}{c}{R}_i{W}_Q^{(i)}\\ R_i{W}_K^{(i)}\\ S_i{W}_V^{(i)}\\ (S_i{)}^{-1}{W}_O^{(i)}\end{array}\right),\forall i\in [h]$$

其中 $R_i\in GL(d_k)$，$S_i\in GL(d_v)$，且头置换 $\pi \in S_h$ 可交换头索引。

3.4 各架构的规范群对比

架构	Query-Key对称	Value对称	头置换	备注
GPT-2	$O(d_k{)}^h$	$GL(d_v{)}^h$	$S_h$	标准MHA
BERT	$O(d_k{)}^h$	$GL(d_v{)}^h$	$S_h$	与GPT-2相同
LLaMA	$O(d_k{)}^h$	$GL(d_v{)}^h$	$S_h$	RoPE打破部分
Qwen	$O(d_k{)}^h$	$GL(d_v{)}^h$	$S_h$	RoPE打破部分

---

4. 最大规范对称性证明

4.1 主要定理

定理4（最大性证明）¹：

设 $\mathcal{G}$ 为使标准Transformer层输出不变的所有参数变换群。则：

$$\mathcal{G}={\mathcal{G}}_{\max }=\left((GL(d_k){)}^h\times (GL(d_v){)}^h\right)⋊S_h$$

证明概要：

1. 下界：验证 ${\mathcal{G}}_{\max }\subseteq \mathcal{G}$（平凡）
2. 上界：证明任何保持输出的变换必属于 ${\mathcal{G}}_{\max }$

4.2 关键引理

引理1（Query-Key空间刚性）：

假设存在变换 $T$ 使得对所有 $Q,K$：

$$\text{softmax}\left(\frac{Q{K}^T}{\sqrt{d_k}}\right)=\text{softmax}\left(\frac{(QT)(KT{)}^T}{\sqrt{d_k}}\right)$$

则 $T\in GL(d_k)$ 必为正交矩阵：$T\in O(d_k)$。

证明思路：

取 $Q=e_i^T$，$K=e_j^T$（单位向量），softmax约束意味着：

$$(QT)(KT{)}^T=Q{K}^T+c\cdot 11^T$$

其中 $c$ 为常数。对所有 $i,j$ 成立意味着 $T\in O(d_k)$。

引理2（Value空间灵活性）：

Value空间的变换更为宽松：只需保证 $W_V$ 和 $W_O$ 的乘积不变。

$$W_V\to W_{V}N,W_O\to N^{-1}{W}_O⟹W_V{W}_O=(W_{V}N)(N^{-1}{W}_O)$$

因此 $N\in GL(d_v)$ 任意可逆。

4.3 数值稳定性保证

定理5（机器精度不变性）¹：

对于任意 $\tau \in {\mathcal{G}}_{\max }$ 和任意输入 $X$：

$$\Vert \text{Attention}(X;\theta )-\text{Attention}(X;\tau (\theta )){\Vert }_{\infty }\le 24{ϵ}_{\text{mach}}$$

其中 ${ϵ}_{\text{mach}}\approx 2^{-52}\approx 2.2\times 10^{-16}$。

这意味着规范变换在浮点运算中数值稳定，是真正的对称性而非近似。

---

5. RoPE与相对位置编码

5.1 标准RoPE的规范对称性

**旋转位置编码（RoPE）**通过旋转矩阵编码绝对位置，同时隐式捕获相对位置：

$${\mathbf{q}}_i^{\prime }={\mathbf{R}}_i{\mathbf{q}}_i,{\mathbf{k}}_j^{\prime }={\mathbf{R}}_j{\mathbf{k}}_j$$

其中旋转矩阵：

$${\mathbf{R}}_i=\left(\begin{array}{cc}\cos (i\theta )& -\sin (i\theta )\\ \sin (i\theta )& \cos (i\theta )\end{array}\right),\theta =\frac{1}{10000^{2j/d}}$$

定理6（RoPE对称性分解）：

$${\mathcal{G}}_{\text{RoPE}}=\underset{\text{旋转不变}}{\underbrace{{\mathcal{G}}_{\max }}}\cap \underset{\text{位置编码约束}}{\underbrace{{\mathcal{G}}_{\text{pos}}}}$$

5.2 GRoPE：对称性破缺的变体

**Gated RoPE（GRoPE）**通过引入门控机制改变了规范对称性结构：

$${\mathbf{q}}_i^{\prime }={\mathbf{G}}_i{\mathbf{R}}_i{\mathbf{q}}_i$$

其中 ${\mathbf{G}}_i$ 为位置依赖的门控矩阵。

关键发现：GRoPE打破了部分规范对称性，因为：

1. 旋转依赖性：${\mathbf{G}}_i$ 与 ${\mathbf{R}}_i$ 不交换
2. 位置耦合：不同位置的变换相互依赖
3. 对称性降级：

$${\mathcal{G}}_{\text{GRoPE}}\subset {\mathcal{G}}_{\max }$$

5.3 对称性对比表

编码方案	Query-Key对称	Value对称	头置换	位置依赖性
无位置编码	$O(d_k{)}^h$	$GL(d_v{)}^h$	$S_h$	无
标准RoPE	$O(d_k{)}^h$	$GL(d_v{)}^h$	$S_h$	全局
GRoPE	$O(d_k{)}^h$ (部分)	$GL(d_v{)}^h$ (部分)	打破	局部

更多关于位置编码的几何理论，见位置编码几何理论。

---

6. 冗余维度发现

6.1 理论框架

定理7（冗余维度界）¹：

对于参数量为 $P$ 的Transformer，其功能自由度（functional degrees of freedom）满足：

$$\text{fdof}\le \frac{P}{\log P}$$

这意味着存在大量冗余维度。

6.2 110M参数模型的冗余分析

以GPT-2 Small（110M参数）为例：

组件	参数量	冗余维度估计
$W_Q$	$12\times 768\times 64$	$\sim 300$K
$W_K$	$12\times 768\times 64$	$\sim 300$K
$W_V$	$12\times 768\times 64$	$\sim 250$K
$W_O$	$12\times 64\times 768$	$\sim 250$K
总计	$\sim 44$M（仅注意力）	~1.1M

关键发现：在110M参数模型中发现了约1.1M冗余维度。

6.3 冗余来源

来源1：规范对称性冗余

$$|{\mathcal{G}}_{\max }|=|GL(d_k){|}^h\times |GL(d_v){|}^h\times |S_h|=\infty$$

连续群的测度无穷大，对应无限多等价的参数配置。

来源2：低秩结构

每个头的Rank约束：

$$\text{Rank}(W_Q^{(i)})\le \min (d_{\text{model}},d_{\text{query}})$$

实际学习中，权重矩阵往往呈低秩结构。

来源3：归一化层不变性

LayerNorm的参数 $\gamma ,\beta$ 仅改变输出尺度和平移：

$$\text{LN}(x;\gamma ,\beta )=\gamma \odot \frac{x-\mu }{\sigma }+\beta$$

6.4 冗余的实践意义

1. 参数高效微调：冗余维度允许在不改变功能的情况下修改参数
2. 模型压缩：剪枝可以瞄准冗余方向而不损害功能
3. 知识蒸馏：学生模型可以继承教师的功能自由度

---

7. GQA/MQA规范对称性

7.1 分组查询注意力（GQA）

**GQA（Grouped Query Attention）**通过共享Key和Value头减少计算量：

• $n_{\text{query}}$ 个Query头
• $n_{\text{kv}}$ 个Key/Value头，其中 $n_{\text{kv}}<n_{\text{query}}$
• 每个KV头对应 $g=n_{\text{query}}/n_{\text{kv}}$ 个Query头

7.2 GQA的规范群

定理8（GQA规范对称性）¹：

$${\mathcal{G}}_{\text{GQA}}=\left((GL(d_k){)}^{n_{\text{query}}}\times (GL(d_v){)}^{n_{\text{kv}}}\right)⋊(S_{n_{\text{kv}}}\wr S_g)$$

其中 $S_{n_{\text{kv}}}\wr S_g$ 为** wreath product**（卷积积）。

解释：

• Query头可以在组内置换：$S_g^{n_{\text{kv}}}$
• KV头可以整体置换：S_{n_{\text{kv}}}}
• 组合：$(S_g{)}^{n_{\text{kv}}}⋊S_{n_{\text{kv}}}$

7.3 共享Value的约束

当多个Query头共享同一个Value头时，规范对称性降低：

$$W_V^{(i)}=W_V^{(j)}\text{对于共享同一KV头的Query}i,j$$

这打破了独立的Value空间变换自由度。

7.4 对称性降级链

$${\mathcal{G}}_{\text{MHA}}\supset {\mathcal{G}}_{\text{GQA}}\supset {\mathcal{G}}_{\text{MQA}}$$

架构	$n_{\text{query}}:n_{\text{kv}}$	对称性维度	冗余度
MHA	$12:12$	$12\times d_k^2+12\times d_v^2$	高
GQA	$12:4$	$12\times d_k^2+4\times d_v^2$	中
MQA	$12:1$	$12\times d_k^2+1\times d_v^2$	低

7.5 实践启示

GQA/MQA的对称性降低意味着：

1. 更少的等价参数配置：剪枝和微调空间受限
2. 更快的收敛：功能自由度更少
3. 潜在的表达能力损失：但通常被计算效率补偿

---

8. MoE路由不变性

8.1 MoE架构概述

**Mixture of Experts（MoE）**通过稀疏激活的专家网络扩展模型容量：

$$\text{MoE}(x)=\sum _{i=1}^{E}G(x{)}_i{E}_i(x)$$

其中 $E_i$ 是第 $i$ 个专家，$G(x)$ 是路由函数。

8.2 Top-K路由的规范不变性

定理9（路由不变性）¹：

标准Top-K路由函数对规范变换不变：

$$G(x)=\text{TopK}(\text{Softmax}(Wx)),G(\tau (x))=G(x)\forall \tau \in {\mathcal{G}}_{\max }$$

证明：

1. 规范变换 $\tau$ 保持注意力输出不变
2. 路由器通常只看隐藏激活，不涉及投影矩阵
3. 因此路由决策在规范变换下保持不变

8.3 软路由vs硬路由

路由类型	规范不变性	对称性依赖
Softmax路由	✓	不变
Top-K硬路由	✓	不变
随机路由	✓	不变
可学习硬门控	✗	可能打破

8.4 专家对称性

引理3（专家置换对称性）：

专家网络之间存在置换对称性：

$$E_i\leftrightarrow E_j⟹\text{MoE}(x;\dots ,E_i,\dots ,E_j,\dots )=\text{MoE}(x;\dots ,E_j,\dots ,E_i,\dots )$$

这导致额外的冗余：

$$|{\mathcal{G}}_{\text{experts}}|=E!$$

8.5 路由与规范的交互

关键观察：

1. 规范变换不改变路由：因为路由基于功能等价的隐藏状态
2. 路由不引入新的对称性：但依赖现有规范对称性
3. 负载均衡损失：可能打破规范对称性

---

9. 实际应用与启示

9.1 锐度度量与规范无关性

问题：传统的锐度度量（如Hessian范数）对规范变换敏感：

$$\Vert {\nabla }^2\mathcal{L}(\theta )\Vert \ne \Vert {\nabla }^2\mathcal{L}(\tau (\theta ))\Vert$$

解决方案：使用规范不变的锐度度量

定义（规范不变锐度）：

$${\text{Sharpness}}_{\text{invariant}}(\theta )=\underset{\tau \in \mathcal{G}}{\min }\Vert {\nabla }^2\mathcal{L}(\tau (\theta ))\Vert$$

9.2 优化景观理解

定理10（景观平坦性）：

规范对称性解释了为什么：

1. flat minima存在：同一功能对应无限多参数配置
2. mode connectivity：极小值通过规范变换连接
3. scaling laws：对称性破缺与模型规模相关

9.3 参数高效微调

规范对称性为PEFT方法提供理论基础：

方法	对称性利用	效果
LoRA	低秩约束 $\subset GL(d)$	利用冗余
Adapter	瓶颈结构	减少对称性
Prefix	额外位置	引入新对称性

详见 LoRA 和 Adapter Methods。

9.4 模型合并与对齐

应用：利用规范对称性进行模型合并

def align_models(theta1, theta2, G_max):
    """将两个模型对齐到同一规范等价类"""
    min_dist = float('inf')
    best_tau = None
    
    for tau in sample_gauge_group(G_max, n_samples=1000):
        dist = norm(theta1 - tau(theta2))
        if dist < min_dist:
            min_dist = dist
            best_tau = tau
    
    return theta2_aligned = best_tau(theta2)

详见 模式连接理论。

---

10. 数学形式化总结

10.1 完整规范群作用

设 $\theta =(W_Q^{(i)},W_K^{(i)},W_V^{(i)},W_O^{(i)}{)}_{i=1}^h$，规范变换 $\tau (M,N,\pi )\in {\mathcal{G}}_{\max }$ 作用为：

$$\tau (M,N,\pi )\cdot \theta =\left(M_{\pi (i)}{W}_Q^{(i)},M_{\pi (i)}{W}_K^{(i)},N_{\pi (i)}{W}_V^{(i)},N_{\pi (i)}^{-1}{W}_O^{(i)}\right)$$

其中：

• $M=(M_1,\dots ,M_h)\in (GL(d_k){)}^h$
• $N=(N_1,\dots ,N_h)\in (GL(d_v){)}^h$
• $\pi \in S_h$ 为置换

10.2 商空间与功能流形

参数空间在规范群作用下的商空间：

$$\Theta /{\mathcal{G}}_{\max }\cong \mathcal{F}$$

其中 $\mathcal{F}$ 为所有可能的注意力函数空间。

维数分析：

$$\dim (\Theta )=4h(d_k+d_v)d_{\text{model}}$$ $$\dim ({\mathcal{G}}_{\max })=h(d_k^2+d_v^2)+\log (h!)$$ $$\dim (\mathcal{F})=\dim (\Theta )-\dim ({\mathcal{G}}_{\max })+\text{非线性自由度}$$

10.3 稳定性分析

定理11（轨道稳定性）：

规范群轨道 $\mathcal{O}(\theta )=\{\tau (\theta ):\tau \in {\mathcal{G}}_{\max }\}$ 在以下条件下稳定：

1. $W_Q^{(i)},W_K^{(i)}$ 列满秩
2. $W_V^{(i)},W_O^{(i)}$ 乘积非奇异
3. 头之间线性无关

---

11. 与其他理论的关系

11.1 与神经正切核的联系

规范对称性影响NTK的谱结构：

$${\kappa }_{\text{NTK}}(x,x^{\prime })=\sum _{\tau \in \mathcal{G}}{\kappa }_0(\tau (x),x^{\prime })$$

对称性导致NTK特征函数的聚集效应。

11.2 与谱范数的关系

定理12（谱约束）：

为保持数值稳定性，规范变换需满足：

$$\Vert M_i\Vert \le {\kappa }_{\max },\Vert N_i\Vert \le {\kappa }_{\max }$$

这解释了为什么实际训练中权重矩阵的谱范数趋于有界。

11.3 与信息瓶颈的联系

规范对称性与信息瓶颈存在深层联系：

$$I(X;T)-\beta I(Y;T)\approx \log |\mathcal{G}|-\beta \cdot \text{fdof}(T)$$

对称性降低有效信息复杂度。

---

12. 实验验证

12.1 对称性验证实验

实验设计：

1. 对训练好的模型应用随机规范变换 $\tau \in {\mathcal{G}}_{\max }$
2. 测量输出差异
3. 验证差异在 ${ϵ}_{\text{mach}}$ 范围内

结果（GPT-2 Small on WikiText-103）：

$$\frac{\Vert \text{Attention}(X;\theta )-\text{Attention}(X;\tau (\theta )){\Vert }_{\infty }}{\Vert \text{Attention}(X;\theta ){\Vert }_{\infty }}\le 10^{-12}$$

12.2 冗余维度测量

方法：通过随机投影估计功能自由度

1. 采样 $k$ 个随机方向 $v_1,\dots ,v_k$
2. 对每个方向应用规范变换
3. 测量输出变化

结果：1.1M冗余维度估计与理论界吻合。

12.3 GQA对称性降级

架构	对称性维度	功能等价类大小	收敛速度
MHA	100%	$\infty$	慢
GQA-4	75%	$\infty$	中
GQA-8	50%	$\infty$	快

---

13. 总结与展望

13.1 核心贡献

1. 完整规范群刻画：${\mathcal{G}}_{\max }=((GL(d_k){)}^h\times (GL(d_v){)}^h)⋊S_h$
2. 最大性证明：严格证明Canonical Transformer无更大的对称性
3. 冗余维度量化：110M模型中约1.1M冗余维度
4. 架构变体分析：RoPE、GQA、MoE的对称性结构

13.2 开放问题

1. 动态对称性：训练过程中对称性如何演化？
2. 非标准架构：RWKV、Mamba等的状态空间模型对称性？
3. 多模态扩展：跨模态Transformer的联合规范群？

13.3 实践建议

1. 微调时考虑冗余：利用规范等价性选择更好初始点
2. 模型合并前对齐：在统一规范类中合并模型
3. 锐度度量规范化：使用规范不变度量评估泛化

---

参考文献

---

本页面系统整理Transformer规范对称性理论的核心内容，涵盖数学基础、架构变体分析和实践应用。

Footnotes

1. Anonymous. “Maximal Gauge Symmetry in Transformer” (ICLR 2026 under review) ↩ ↩² ↩³ ↩⁴ ↩⁵ ↩⁶ ↩⁷ ↩⁸

2. Chuang et al. “Parameter Symmetry Potentially Unifies Deep Learning Theory” (arXiv:2502.05300, 2025) ↩