Transformer表达能力：热带几何视角

热带几何（Tropical Geometry）是一种新兴的代数几何分支，近年来被引入深度学习理论，用于精确刻画神经网络特别是Transformer的表达能力。¹ 本文档系统介绍这一理论框架，揭示Transformer如何通过热带运算实现复杂的空间划分。

热带代数基础

定义

热带代数定义在热带半环上：

$$(\mathbb{R}\cup \{-\infty \},\oplus ,\otimes )$$

其中：

• 热带加法 $\oplus$: $a\oplus b=\max (a,b)$
• 热带乘法 $\otimes$: $a\otimes b=a+b$

基本性质

性质	标准代数	热带代数
加法单位元	$0$	$-\infty$
乘法单位元	$1$	$0$
加法交换律	$a+b=b+a$	$a\oplus b=b\oplus a$
乘法分配律	$a(b+c)=ab+ac$	$a\otimes (b\oplus c)=(a\otimes b)\oplus (a\otimes c)$

热带多项式

热带多项式是分片线性函数：

$$f(x_1,\dots ,x_n)=\underset{i_1,\dots ,i_m}{⨁}{c}_{i_1,\dots ,i_m}\otimes x_1^{\otimes i_1}\otimes \cdots \otimes x_n^{\otimes i_m}$$

等价于：

$$f(x_1,\dots ,x_n)=\underset{i_1,\dots ,i_m}{\max }\left(c_{i_1,\dots ,i_m}+i_1{x}_1+\cdots +i_m{x}_m\right)$$

Self-Attention的热带化

标准注意力机制

标准缩放点积注意力：

$$\text{Attention}(Q,K,V)=\text{softmax}\left(\frac{Q{K}^T}{\sqrt{d}}\right)V$$

Tropical Self-Attention定义

将注意力机制热带化，得到热带注意力：

$$\text{TropicalAttention}(Q,K,V{)}_i=\underset{j}{⨁}\left(-\frac{1}{2}\Vert q_i-k_j{\Vert }^2\oplus \log v_j\right)$$

其中：

• $q_i,k_j$ 分别是Query和Key向量
• $v_j$ 是Value向量

几何解释

热带注意力在几何上对应于：

1. Voronoi图划分：每个Query将其空间划分为Voronoi区域
2. 分片线性函数：热带多项式是分片线性凸函数
3. 最大操作：等价于选择响应最强的Key

空间划分能力分析

Tropical Polyhedron

热带几何中的核心概念是热带多面体（Tropical Polyhedron）：

$$\mathcal{P}=\{x\in {\mathbb{R}}^n:Ax\oplus b\ge 0\}$$

这对应于一系列线性不等式的交集。

区域计数定理

对于具有 $n$ 个位置的Transformer，其空间划分能力由以下定理刻画：

定理：具有 $L$ 层和 $H$ 个头的热带Self-Attention，可以划分最多 $O(H^L)$ 个不同的区域。

这解释了Transformer的强大表达能力：

• 深度增加时，区域数指数增长
• 宽度（头数）提供基础表达能力

与标准Transformer的对比

特性	标准Transformer	Tropical Transformer
注意力计算	Softmax	Max
空间划分	概率分布	Voronoi图
表达能力	连续函数类	分片线性函数
区域数上界	指数级	组合复杂度

热带秩与矩阵分解

Tropical Rank定义

热带秩定义为热带多项式系统的最大线性无关维度：

$$\text{trop-rank}(A)=\max \{r:\exists \text{ tropical factorization }A\approx U\otimes V^T\}$$

与标准秩的关系

定理：对于矩阵 $A\in {\mathbb{R}}^{m\times n}$，

$$\text{rank}(A)\ge \text{trop-rank}(A)$$

Transformer表达能力上界

基于热带秩理论，Transformer的表达能力受限于：

1. 热带秩约束：注意力矩阵的热带秩限制可表示函数类
2. 深度-宽度权衡：深层网络可通过组合突破热带秩限制
3. 位置编码的影响：绝对/相对位置编码改变热带结构

函数类的热带刻画

可表示函数

定义：函数 $f:{\mathbb{R}}^n\to \mathbb{R}$ 被称为热带可表示，如果存在热带Self-Attention网络使得：

$$f(x)=\text{TropicalTransformer}(x)$$

表达能力层级

层级1: 线性函数 (热带秩 = 1)
   ↓
层级2: 分片线性函数 (热带秩 = 2)
   ↓
层级3: 组合分片线性函数 (深层热带网络)
   ↓
层级4: 通用连续函数 (极限表达能力)

关键发现

命题1：单层热带注意力可以表示任何分片线性凸函数。

命题2：多层热带注意力可以表示任何热带多项式函数。

命题3：通用Transformer的表达能力包含热带可表示函数作为一个子类。

训练动力学的热带解释

Loss Landscape

热带几何为理解Transformer训练动态提供新视角：

1. 临界点：Loss的临界点对应热带多面体的顶点
2. 收敛路径：梯度下降在热带势能景观上滑动
3. 局部最优：陷入特定的Voronoi区域

Grokking的热带解释

Grokking现象可从热带几何角度解释：

• 记忆阶段：模型学习热带多面体的边界
• 泛化阶段：边界收缩到核心结构
• 临界点：从复杂边界到简单边界的相变

与现有理论的联系

与NTK理论的对比

方面	NTK理论	热带几何理论
分析对象	无限宽网络	有限宽Transformer
数学工具	函数空间分析	代数几何
表达能力	高斯过程类	分片线性函数
训练动态	常微分方程	热带动力系统

与电路理论的联系

电路复杂度类 $T{C}^0$ 与热带电路复杂度密切相关：

$$\text{Transformer}\subseteq {\text{TropicalCircuit}}^{O(1)}$$

这为Transformer的计算复杂度提供理论下界。

实践意义

架构设计启示

1. 深度优先：增加深度比增加宽度更有效提升表达能力
2. 多头分工：不同头应关注不同频率的特征
3. 位置编码：引入位置信息改变热带多面体结构

训练策略优化

# 热带几何启发的训练策略
class TropicalInspiredTraining:
    def __init__(self, model):
        self.model = model
        self.region_counts = []  # 追踪热带区域数
    
    def compute_tropical_rank(self, attention_weights):
        """计算注意力矩阵的热带秩（近似）"""
        # 使用幂迭代法估计热带秩
        pass
    
    def log_region_evolution(self):
        """记录区域演化，用于诊断"""
        for layer in self.model.layers:
            attn = layer.self_attn.attn_weights
            rank = self.compute_tropical_rank(attn)
            self.region_counts.append(rank)

可解释性

热带几何提供了解释Attention的新视角：

• Voronoi区域：每个Query的空间影响范围
• 热带多项式：Attention计算的分片线性近似
• 区域边界：关键决策边界

开放问题与未来方向

理论问题

1. 精确表达能力刻画：热带几何能否完全刻画Transformer的表达能力？
2. 深度-表达能力权衡：深层网络的表达能力增长速率？
3. 位置编码的热带结构：不同位置编码方案的热带几何性质？

应用问题

1. 热带网络设计：设计专门的”热带Transformer”
2. 高效实现：热带运算的硬件加速
3. 混合架构：结合热带几何与传统深度学习的优势

参考文献

---

相关词条：Transformer与注意力机制，Transformer Scaling Laws，ALiBi位置编码

Footnotes

1. Su et al., “Expressivity of Transformers: A Tropical Geometry Perspective”, arXiv:2604.14727, 2026 ↩