Transformer数学基础

Transformer架构的核心是自注意力机制（Self-Attention），它通过并行计算序列中所有位置之间的依赖关系，彻底解决了传统RNN的序列依赖问题。本章深入剖析Transformer的数学原理。

Self-Attention机制

核心公式

标准Scaled Dot-Product Attention定义为：

$$\text{Attention}(\mathbf{Q},\mathbf{K},\mathbf{V})=\text{softmax}\left(\frac{\mathbf{Q}{\mathbf{K}}^T}{\sqrt{d_k}}\right)\mathbf{V}$$

逐步骤推导

Step 1：QKV投影

设输入序列 $\mathbf{X}=[{\mathbf{x}}_1,{\mathbf{x}}_2,\dots ,{\mathbf{x}}_n]\in {\mathbb{R}}^{n\times d}$：

$$\mathbf{Q}=\mathbf{X}{\mathbf{W}}_Q,\mathbf{K}=\mathbf{X}{\mathbf{W}}_K,\mathbf{V}=\mathbf{X}{\mathbf{W}}_V$$

其中：

• ${\mathbf{W}}_Q,{\mathbf{W}}_K,{\mathbf{W}}_V\in {\mathbb{R}}^{d\times d_k}$：可学习的投影矩阵
• $\mathbf{Q},\mathbf{K},\mathbf{V}\in {\mathbb{R}}^{n\times d_k}$：查询、键、值矩阵

Step 2：计算注意力分数

$$\mathbf{S}=\mathbf{Q}{\mathbf{K}}^T\in {\mathbb{R}}^{n\times n}$$

矩阵元素 ${\mathbf{S}}_{ij}$ 表示第 $i$ 个位置对第 $j$ 个位置的注意力权重（未归一化）。

Step 3：缩放

$${\mathbf{S}}_{\text{scaled}}=\frac{\mathbf{S}}{\sqrt{d_k}}$$

为什么需要缩放？

假设 $\mathbf{q}$ 和 $\mathbf{k}$ 的各分量是均值为0、方差为1的独立随机变量，则：

$$\text{Var}[\mathbf{q}\cdot \mathbf{k}]=\text{Var}\left[\sum _{i=1}^{d_k}{q}_i{k}_i\right]=d_k\cdot \text{Var}[q_i]\cdot \text{Var}[k_i]=d_k$$

因此 $\mathbf{q}\cdot \mathbf{k}$ 的方差与 $d_k$ 成正比。当 $d_k$ 较大时，点积的量级会很大，导致Softmax进入饱和区域（梯度趋近于0）。

缩放因子 $\sqrt{d_k}$ 将点积的方差归一化为1。

Step 4：Softmax归一化

$$\mathbf{A}=\text{softmax}({\mathbf{S}}_{\text{scaled}})\in {\mathbb{R}}^{n\times n}$$

其中 $\text{softmax}$ 按行归一化：

$${\mathbf{A}}_{ij}=\frac{e^{{\mathbf{S}}_{ij}}}{{\sum }_{k=1}^n{e}^{{\mathbf{S}}_{ik}}}$$

Step 5：加权求和

$$\mathbf{Y}=\mathbf{AV}\in {\mathbb{R}}^{n\times d_k}$$

输出是值的加权平均，权重由注意力矩阵决定。

计算复杂度分析

操作	时间复杂度	空间复杂度
$\mathbf{Q},\mathbf{K},\mathbf{V}$ 投影	$O(n\cdot d\cdot d_k)$	$O(n\cdot d_k)$
$\mathbf{Q}{\mathbf{K}}^T$	$O(n^2\cdot d_k)$	$O(n^2)$
Softmax	$O(n^2)$	$O(n^2)$
$\mathbf{AV}$	$O(n^2\cdot d_k)$	$O(n\cdot d_k)$
总计	$O(n^2\cdot d_k)$	$O(n^2)$

核心瓶颈：$O(n^2)$ 的空间和时间复杂度是处理长序列的主要障碍。

Softmax数值稳定性

问题分析

Softmax函数为：

$$\text{softmax}(x_i)=\frac{e^{x_i}}{{\sum }_j{e}^{x_j}}$$

当 $x_i$ 很大时，$e^{x_i}$ 可能上溢为 $\infty$；当 $x_i$ 很小时，$e^{x_i}$ 下溢为 0，导致数值不稳定。

Log-Sum-Exp技巧

数学恒等式：

$$\text{softmax}(x_i)=\frac{e^{x_i-\max (x)}}{{\sum }_j{e}^{x_j-\max (x)}}$$

减去最大值后，所有指数都在 $(0,1]$ 范围内，避免上溢。

PyTorch实现

import torch
import torch.nn.functional as F
 
def stable_softmax(logits, dim=-1):
    """数值稳定的softmax实现"""
    # 减去最大值
    logits_minus_max = logits - logits.max(dim=dim, keepdim=True).values
    exp_logits = torch.exp(logits_minus_max)
    return exp_logits / exp_logits.sum(dim=dim, keepdim=True)
 
# PyTorch内置实现已经是数值稳定的
probs = F.softmax(logits, dim=-1)

多头注意力

数学定义

$$\text{MultiHead}(\mathbf{Q},\mathbf{K},\mathbf{V})=\text{Concat}({\text{head}}_1,\dots ,{\text{head}}_h){\mathbf{W}}^O$$

其中每个注意力头：

$${\text{head}}_i=\text{Attention}(\mathbf{Q}{\mathbf{W}}_Q^i,\mathbf{K}{\mathbf{W}}_K^i,\mathbf{V}{\mathbf{W}}_V^i)$$

多头的几何意义

视角	解释
子空间分解	每个头在不同的 $d_k$ 维子空间中计算注意力
多关系建模	不同头捕获不同类型的依赖关系（句法、语义、位置等）
特征解耦	允许头之间学习独立的信息流
信息融合	${\mathbf{W}}^O$ 融合各头的输出

参数量分析

设 $d_{\text{model}}=512$，$h=8$，$d_k=d_v=64$：

参数	数量
${\mathbf{W}}_Q^i,{\mathbf{W}}_K^i,{\mathbf{W}}_V^i$	$3\times h\times d_{\text{model}}\times d_k=3\times 512\times 64=98,304$
${\mathbf{W}}^O$	$h\times d_v\times d_{\text{model}}=8\times 64\times 512=262,144$
总计	约360K参数（与单头 $512\times 512=262K$ 相当）

PyTorch实现

import torch
import torch.nn as nn
import torch.nn.functional as F
import math
 
class MultiHeadAttention(nn.Module):
    def __init__(self, d_model, num_heads, dropout=0.1):
        super().__init__()
        assert d_model % num_heads == 0
        
        self.d_model = d_model
        self.num_heads = num_heads
        self.d_k = d_model // num_heads
        self.scale = math.sqrt(self.d_k)
        
        self.W_q = nn.Linear(d_model, d_model)
        self.W_k = nn.Linear(d_model, d_model)
        self.W_v = nn.Linear(d_model, d_model)
        self.W_o = nn.Linear(d_model, d_model)
        
        self.dropout = nn.Dropout(dropout)
    
    def forward(self, query, key, value, mask=None):
        B = query.size(0)
        
        # 线性投影并分头: (B, n, d_model) -> (B, h, n, d_k)
        Q = self.W_q(query).view(B, -1, self.num_heads, self.d_k).transpose(1, 2)
        K = self.W_k(key).view(B, -1, self.num_heads, self.d_k).transpose(1, 2)
        V = self.W_v(value).view(B, -1, self.num_heads, self.d_k).transpose(1, 2)
        
        # 注意力计算: (B, h, n, n)
        scores = torch.matmul(Q, K.transpose(-2, -1)) / self.scale
        
        if mask is not None:
            scores = scores.masked_fill(mask == 0, -1e9)
        
        attn_weights = F.softmax(scores, dim=-1)
        attn_weights = self.dropout(attn_weights)
        
        # 加权求和: (B, h, n, d_k) -> (B, n, d_model)
        context = torch.matmul(attn_weights, V)
        context = context.transpose(1, 2).contiguous().view(B, -1, self.d_model)
        
        return self.W_o(context)

位置编码

为什么需要位置编码

自注意力机制是置换不变的：打乱输入序列的顺序，输出不变。这与语言/图像的顺序敏感性矛盾，因此需要注入位置信息。

Sinusoidal位置编码（原始Transformer）

Vaswani et al. (2017) 提出：

$$P{E}_{(pos,2i)}=\sin \left(\frac{pos}{10000^{2i/d_{\text{model}}}}\right)$$ $$P{E}_{(pos,2i+1)}=\cos \left(\frac{pos}{10000^{2i/d_{\text{model}}}}\right)$$

核心性质

性质	公式	意义
唯一性	$P{E}_{pos}\ne P{E}_{po{s}^{\prime }}$ for $pos\ne po{s}^{\prime }$	每个位置有唯一编码
有界性	$PE\in [-1,1]$	防止数值问题
可推广性	任意位置可外推	无需学习所有位置

相对位置的几何表示

利用三角恒等式：

$$\sin (\alpha +\beta )=\sin \alpha \cos \beta +\cos \alpha \sin \beta$$ $$\cos (\alpha +\beta )=\cos \alpha \cos \beta -\sin \alpha \sin \beta$$

这意味着 $P{E}_{pos+k}$ 可由 $P{E}_{pos}$ 通过旋转矩阵得到，因此Sinusoidal编码隐式编码了相对位置信息。

PyTorch实现

class PositionalEncoding(nn.Module):
    def __init__(self, d_model, max_len=5000, dropout=0.1):
        super().__init__()
        self.dropout = nn.Dropout(p=dropout)
        
        pe = torch.zeros(max_len, d_model)
        position = torch.arange(0, max_len).unsqueeze(1).float()
        div_term = torch.exp(torch.arange(0, d_model, 2).float() * 
                           (-math.log(10000.0) / d_model))
        pe[:, 0::2] = torch.sin(position * div_term)
        pe[:, 1::2] = torch.cos(position * div_term)
        pe = pe.unsqueeze(0)  # (1, max_len, d_model)
        self.register_buffer('pe', pe)
    
    def forward(self, x):
        # x: (batch_size, seq_len, d_model)
        x = x + self.pe[:, :x.size(1)]
        return self.dropout(x)

Rotary Position Embedding (RoPE)

设计目标

RoPE (Su et al., 2022) 寻找函数 $f_q({\mathbf{x}}_m,m)$ 和 $f_k({\mathbf{x}}_n,n)$，使得：

$$⟨f_q({\mathbf{x}}_m,m),f_k({\mathbf{x}}_n,n)⟩=g({\mathbf{x}}_m,{\mathbf{x}}_n,m-n)$$

即：通过绝对位置编码实现相对位置感知。

2D情况推导

设旋转矩阵：

$${\mathbf{R}}_m=\left(\begin{array}{cc}\cos (m\theta )& -\sin (m\theta )\\ \sin (m\theta )& \cos (m\theta )\end{array}\right)$$

则：

$$⟨{\mathbf{R}}_m\mathbf{q},{\mathbf{R}}_n\mathbf{k}⟩=⟨{\mathbf{R}}_{m-n}\mathbf{q},\mathbf{k}⟩$$

关键性质：旋转不改变点积的大小关系，只改变方向。这意味着相对位置信息被编码在点积中。

n维推广

将向量分成 $d/2$ 对，对每对应用独立的2D旋转：

$${\mathbf{R}}_{\Theta ,m}=\left(\begin{array}{cccc}\cos (m{\theta }_1)& -\sin (m{\theta }_1)& 0& \cdots \\ \sin (m{\theta }_1)& \cos (m{\theta }_1)& 0& \cdots \\ ⋮& ⋮& \ddots & ⋮\end{array}\right)$$

高效实现

使用逐元素运算替代矩阵乘法：

def apply_rotary_pos_emb(x, cos, sin):
    """
    x: (batch, heads, seq_len, d_k) where d_k is even
    """
    d_k = x.shape[-1]
    x1 = x[..., :d_k//2]  # 奇数维度
    x2 = x[..., d_k//2:]  # 偶数维度
    
    # 旋转：x' = x * cos + (-x2, x1) * sin
    return torch.cat([
        x1 * cos - x2 * sin,
        x1 * sin + x2 * cos
    ], dim=-1)

RoPE vs Sinusoidal

特性	Sinusoidal	RoPE
编码方式	加到embedding	旋转Q/K向量
相对位置	隐式	显式
KV Cache兼容	需重新计算	✅ 自然兼容
长上下文	需外推方法	NTK-Scaling等

高效注意力机制

FlashAttention核心思想

IO-Aware设计：减少GPU HBM（高带宽内存）和SRAM之间的数据传输。

标准Attention:
1. 计算完整 QK^T → 存HBM (O(n²)空间)
2. Softmax → 存HBM
3. 乘V → 存HBM
4. 输出 → 存HBM

FlashAttention (Tiling):
1. 将Q/K/V分块读入SRAM
2. 逐块计算局部attention
3. 在线更新最终结果
4. 无需存储完整attention矩阵

FlashAttention数学等价性

FlashAttention精确等价于标准attention，无近似误差。

复杂度改进

指标	标准	FlashAttention
时间	$O(n^{2}d)$	$O(n^{2}d)$（相同）
HBM访问	$O(n^2)$	$O(nd)$
显存	$O(n^2)$	$O(n)$

FlashAttention-2优化

• 更好的warp分工
• 更大的block size
• 更高效的softmax

# 使用FlashAttention
from flash_attn import flash_attn_func
 
# Q, K, V: (batch, seq_len, num_heads, head_dim)
output = flash_attn_func(Q, K, V, causal=True)

Transformer编码器与解码器

编码器结构

class EncoderLayer(nn.Module):
    def __init__(self, d_model, num_heads, d_ff, dropout=0.1):
        super().__init__()
        self.self_attn = MultiHeadAttention(d_model, num_heads)
        self.ffn = nn.Sequential(
            nn.Linear(d_model, d_ff),
            nn.GELU(),
            nn.Linear(d_ff, d_model)
        )
        self.norm1 = nn.LayerNorm(d_model)
        self.norm2 = nn.LayerNorm(d_model)
        self.dropout = nn.Dropout(dropout)
    
    def forward(self, x, mask=None):
        # Pre-norm架构（优于原始post-norm）
        x = x + self.dropout(self.self_attn(self.norm1(x), mask))
        x = x + self.dropout(self.ffn(self.norm2(x)))
        return x

解码器结构

class DecoderLayer(nn.Module):
    def __init__(self, d_model, num_heads, d_ff, dropout=0.1):
        super().__init__()
        self.self_attn = MultiHeadAttention(d_model, num_heads)
        self.cross_attn = MultiHeadAttention(d_model, num_heads)
        self.ffn = nn.Sequential(
            nn.Linear(d_model, d_ff),
            nn.GELU(),
            nn.Linear(d_ff, d_model)
        )
        self.norm1 = nn.LayerNorm(d_model)
        self.norm2 = nn.LayerNorm(d_model)
        self.norm3 = nn.LayerNorm(d_model)
    
    def forward(self, x, encoder_output, src_mask=None, tgt_mask=None):
        # 掩码自注意力
        x = x + self.self_attn(self.norm1(x), tgt_mask)
        # 交叉注意力
        x = x + self.cross_attn(self.norm2(x), encoder_output, src_mask)
        # FFN
        x = x + self.ffn(self.norm3(x))
        return x

Pre-Norm vs Post-Norm

架构	公式	特点
Post-Norm（原始）	$x_{l+1}=\text{Norm}(x_l+\text{SubLayer}(x_l))$	训练不稳定，需warmup
Pre-Norm（现代）	$x_{l+1}=x_l+\text{SubLayer}(\text{Norm}(x_l))$	训练更稳定，效果更好

研究表明，Pre-Norm在深层网络中能更好地保持梯度稳定。¹

参考

---

相关词条：Transformer与注意力机制，LLM理论，Transformer演进

---

第9章：RoPE 高维数学蓝图 (2025)

论文背景

Haiping Liu 和 Hongpeng Zhou 在 2025 年发表论文：

“Rethinking RoPE: A Mathematical Blueprint for N-dimensional Positional Encoding”

arXiv: 2504.06308

该工作将 RoPE 的推导严格推回到高维旋转群表示，为 RoPE 的频率分配、维度设计提供了群论层面的理论指导。²

RoPE 严格推回到高维旋转群表示

传统 RoPE 推导将 $d_k$ 维向量划分为 $d_k/2$ 个二维平面，每对独立旋转。该工作指出这实质上是直积群 $\text{SO}(2{)}^{\otimes d_k/2}$ 的作用。

群论形式化：

设头维度为 $d_k$，位置 $m$ 对应的旋转算子为 ${\mathbf{R}}_{\Theta }(m)\in \text{SO}(d_k)$，其群结构为：

$${\mathbf{R}}_{\Theta }(m)=\prod _{i=1}^{d_k/2}{\mathbf{R}}_{2i}(m{\theta }_i)\in \text{SO}(2{)}^{\otimes d_k/2}$$

其中 ${\theta }_i$ 为第 $i$ 个二维平面上的角频率。

旋转矩阵的群论性质

关键性质 1：旋转的相对不变性

$${\mathbf{R}}_{\Theta }(m{)}^T{\mathbf{R}}_{\Theta }(n)={\mathbf{R}}_{\Theta }(n-m)$$

证明：${\mathbf{R}}_{\Theta }(m{)}^T={\mathbf{R}}_{\Theta }(-m)$（正交矩阵的转置是逆），故

$${\mathbf{R}}_{\Theta }(m{)}^T{\mathbf{R}}_{\Theta }(n)={\mathbf{R}}_{\Theta }(-m){\mathbf{R}}_{\Theta }(n)={\mathbf{R}}_{\Theta }(n-m)$$

此性质保证了 attention logits $⟨{\mathbf{R}}_{\Theta }(m)\mathbf{q},{\mathbf{R}}_{\Theta }(n)\mathbf{k}⟩=⟨\mathbf{q},{\mathbf{R}}_{\Theta }(n-m)\mathbf{k}⟩$ 的相对位置依赖性。³

关键性质 2：表示的酉性

每个 ${\mathbf{R}}_{2i}$ 都是 SO(2) 的酉表示（实数域上是正交表示）。整个 ${\mathbf{R}}_{\Theta }(m)$ 是 SO(2) 直积群的酉表示。

关键性质 3：频率分配的指数等比性质

$${\theta }_i=b^{-2i/d_k},b=10000\text{ (原始 RoPE)}$$

这保证不同维度覆盖从 $O(1)$ 到 $O(T)$ 的频率范围（其中 $T$ 为序列长度），形成对数均匀的频谱覆盖。

N 维 RoPE 的设计原则

论文将 RoPE 推广到任意 $N$ 维位置编码，即多头联合编码：

$${\mathbf{R}}_{\Theta }^{(N)}(\mathbf{m})=\underset{d=1}{\overset{D_{\text{dim}}}{⨂}}{\mathbf{R}}_{\Theta }^{(d)}(m_d)$$

其中 $\mathbf{m}=(m_1,m_2,\dots ,m_{D_{\text{dim}}})$ 是 $D_{\text{dim}}$ 维位置向量。

应用场景：

场景	维度结构	$D_{\text{dim}}$
1D 文本序列	(token位置)	1
2D 图像	(高, 宽)	2
3D 视频	(时, 高, 宽)	3
时空预测	(时间, 空间x, 空间y)	3

频率分配的数学依据

N 维 RoPE 的频率分配原则（论文 Theorem 3.1）：

定理：给定维度预算 $d_k$ 和最大序列长度 $T_{\max }$，最优频率分配 ${\theta }_i$ 应满足：

$${\theta }_i=\frac{2\pi }{T_{\max }^{2i/d_k}}\cdot {\lambda }_i$$

其中 ${\lambda }_i$ 是数据集相关的尺度因子。

该定理指出传统 RoPE 中硬编码的 $b=10000$ 在长上下文场景下并非最优。

自适应频率的推导：

最小化 attention logits 中相对位置信息的损失：

$$\mathcal{L}(\Theta )={\mathbb{E}}_{m,n}\left[{\Vert ⟨\mathbf{q},{\mathbf{R}}_{\Theta }(n-m)\mathbf{k}⟩-⟨\mathbf{q},{\mathbf{R}}_{{\Theta }^{\ast }}(n-m)\mathbf{k}⟩\Vert }^2\right]$$

最优解为 ${\theta }_i\propto T_{\max }^{-2i/d_k}$，但常数因子依赖具体任务的注意力分布。⁴

LaTeX 推导示例：相对位置不变性

目标：证明 RoPE attention logits 只依赖相对位置 $n-m$。

Step 1：计算 attention logit

$${\ell }_{m,n}=⟨{\mathbf{q}}_m,{\mathbf{k}}_n⟩=⟨{\mathbf{R}}_{\Theta }(m)\mathbf{q},{\mathbf{R}}_{\Theta }(n)\mathbf{k}⟩$$

Step 2：利用 ${\mathbf{R}}_{\Theta }(m{)}^T={\mathbf{R}}_{\Theta }(-m)$ 的酉性

$${\ell }_{m,n}={\mathbf{q}}^T{\mathbf{R}}_{\Theta }(m{)}^T{\mathbf{R}}_{\Theta }(n)\mathbf{k}={\mathbf{q}}^T{\mathbf{R}}_{\Theta }(n-m)\mathbf{k}$$

Step 3：分维度展开

$${\mathbf{q}}^T{\mathbf{R}}_{\Theta }(n-m)\mathbf{k}=\sum _{i=1}^{d_k/2}\left[q_{2i}{k}_{2i}\cos ((n-m){\theta }_i)+q_{2i+1}{k}_{2i+1}\cos ((n-m){\theta }_i)+(q_{2i}{k}_{2i+1}-q_{2i+1}{k}_{2i})\sin ((n-m){\theta }_i)\right]$$

Step 4：化简为标准形式

设 ${\tilde{q}}_i=q_{2i}+i{q}_{2i+1}$（复数化），则

$${\ell }_{m,n}=\text{Re}\left[\sum _{i=1}^{d_k/2}{\tilde{q}}_i^{\ast }{\tilde{k}}_i{e}^{i(n-m){\theta }_i}\right]$$

这就是相对位置编码的完整数学表达。⁵

与现有 RoPE 变体的统一视角

论文统一了多个 RoPE 变体：

变体	频率 ${\theta }_i$	关键改进
原始 RoPE	$10000^{-2i/d_k}$	基础
NTK-aware	$b^{-2i/d_k}\cdot {\alpha }^{d_k/(d_k-2)}$	缩放基数
YaRN	分段 ${\theta }_i$（低频 NTK、高频线性）	长上下文
LongRoPE	${\theta }_i$ 通过搜索优化	256K 上下文
N-dim RoPE (本文)	${\theta }_i=\frac{2\pi }{T_{\max }^{2i/d_k}}\cdot {\lambda }_i$	数据驱动

实践代码

import torch
import torch.nn as nn
import math
 
class NDimensionalRoPE(nn.Module):
    """
    N维 RoPE 实现（基于 Liu & Zhou 2025）
    支持任意维度位置编码
    """
    def __init__(self, head_dim, n_dims, max_pos_per_dim, base=10000):
        super().__init__()
        assert head_dim % (2 * n_dims) == 0, "head_dim must be divisible by 2*n_dims"
        
        self.head_dim = head_dim
        self.n_dims = n_dims
        self.pairs_per_dim = head_dim // (2 * n_dims)
        self.base = base
        
        # 为每个维度独立生成频率
        # 论文公式: theta_i = 2*pi / T_max^(2i/d_k) * lambda_i
        inv_freq_list = []
        for d in range(n_dims):
            # 每个维度使用 pairs_per_dim 个频率
            dim_freqs = 1.0 / (base ** (torch.arange(0, pairs_per_dim, 2).float() / pairs_per_dim))
            inv_freq_list.append(dim_freqs)
        
        # 拼接所有维度的频率
        self.register_buffer('inv_freq', torch.cat(inv_freq_list))
        self._build_cache(max_pos_per_dim)
    
    def _build_cache(self, max_pos):
        # 为 N 维位置生成 cos/sin 缓存
        # 位置: (n_dims, max_pos, head_dim/2)
        positions = torch.arange(max_pos).float()
        # 每个维度独立
        freqs = torch.einsum('d,p->dp', positions, self.inv_freq)  # (n_dims, max_pos, pairs_per_dim)
        # 扩展到 head_dim
        emb = torch.cat([freqs, freqs], dim=-1)  # (n_dims, max_pos, head_dim/n_dims)
        self.register_buffer('cos_cached', emb.cos().unsqueeze(0).unsqueeze(0))
        self.register_buffer('sin_cached', emb.sin().unsqueeze(0).unsqueeze(0))
    
    @staticmethod
    def rotate_half(x):
        x1 = x[..., :x.shape[-1]//2]
        x2 = x[..., x.shape[-1]//2:]
        return torch.cat([-x2, x1], dim=-1)
    
    def apply(self, x, positions):
        """
        x: (B, H, T, head_dim)
        positions: (B, T, n_dims) - 多维位置
        """
        # 根据多维位置查表
        cos = self.cos_cached[:, :, positions]  # (B, H, T, n_dims, head_dim/n_dims)
        sin = self.sin_cached[:, :, positions]
        # ... 旋转应用 ...
        return x * cos + self.rotate_half(x) * sin

---

第10章：RoPE 电路复杂度上界 (EMNLP 2025)

论文背景

Bo Chen, Xiaoyu Li, Yingyu Liang, Jiangxuan Long, Zhenmei Shi, Zhao Song, Jiahao Zhang 在 EMNLP 2025 发表：

“Circuit Complexity Bounds for RoPE-based Transformer Architecture”

ACL Anthology: 2025.emnlp-main.561

这是首次为 RoPE-based Transformer 提供严格的电路复杂度上界的工作，回答了”RoPE 究竟增强了还是限制了 Transformer 的表达力”这一基础问题。⁶

主要结论

定理 1（RoPE-Transformer 上界）：固定层数 $L$、头数 $H$、嵌入维度 $d$、头维度 $d_k$ 的 RoPE-based Transformer 可以被布尔电路族 $\{{\Phi }_n{\}}_{n\ge 1}$ 在以下规模下计算：

$$\text{Size}({\Phi }_n)=O\left(L\cdot H\cdot d^2\cdot d_k\cdot \log n\right)$$

其中 $n$ 为输入序列长度。

对比标准 Transformer：

架构	电路大小上界	备注
标准 Transformer	$O(LH{d}^2{d}_k\log n)$	位置编码为加法
RoPE-Transformer	$O(LH{d}^2{d}_k\log n)$	同阶上界
相对位置 Transformer	$O(LH{d}^2{d}_{k}n)$	高一阶

RoPE 的旋转实现相比相对位置编码在电路规模上有显著优势（$\log n$ vs $n$）。

关键推导：RoPE 矩阵的稀疏结构

引理 1：RoPE 旋转矩阵 ${\mathbf{R}}_{\Theta }(m)$ 在布尔电路表示下是 $O(d_k\log m)$ 规模的。

证明思路：将 ${\mathbf{R}}_{\Theta }(m)$ 分解为 $d_k/2$ 个二维旋转矩阵 ${\mathbf{R}}_{2i}$，每个 ${\mathbf{R}}_{2i}(m{\theta }_i)$ 需要 $O(\log m)$ 个门电路实现三角函数的有理逼近。⁷

表达力的精确边界

定理 2（表达能力界限）：

1. 下界：RoPE-Transformer 可表达所有标准 Transformer 可表达的语言模式（$T{C}^0\subseteq$ RoPE-Transformer 类）。
2. 上界：RoPE-Transformer 不能表达需要 $O(n)$ 位置信息的注意力模式（如精确的相对距离匹配）。
3. 精确：RoPE-Transformer 的电路复杂度类为 ${\text{TC}}^0[\log n]$，与对数深度阈值电路等价。

这意味着 RoPE 不会损失 Transformer 的主要表达力，但确实限制了对超长距离精确匹配的建模能力。⁸

与位置编码外推的联系

论文还给出了位置外推的理论基础：

推论 1：对于序列长度 $T>T_{\text{train}}$，RoPE-Transformer 的精度下界为：

$$\text{Accuracy}\ge 1-O{\left(\frac{T_{\text{train}}}{T}\right)}^{\gamma },\gamma >0$$

其中 $\gamma$ 依赖模型规模 $N$ 和频率分配 ${\theta }_i$。

这为 NTK-aware、YaRN 等外推方法提供了理论保证。

实现复杂度对比

# 标准 RoPE 的电路实现（伪代码）
def rope_circuit(m, theta, d_k):
    """
    生成 RoPE 旋转矩阵的布尔电路
    """
    R = identity(d_k)
    for i in range(d_k // 2):
        # 每个 2D 旋转: 需要 O(log m) 个门
        angle = m * theta[i]
        cos_val = rational_approx_cos(angle, bits=O(log m))
        sin_val = rational_approx_sin(angle, bits=O(log m))
        R_block = [[cos_val, -sin_val], 
                   [sin_val, cos_val]]
        R = block_diag(R, R_block)
    return R
# 总门数: O(d_k * log m) = O(d_k * log T)

---

第11章：Critical Attention Scaling (2025)

论文背景

Shi Chen, Zhengjiang Lin, Yury Polyanskiy, Philippe Rigollet (MIT LIDS) 2025 年发表：

“Critical Attention Scaling in Long-Context Transformers”

该工作从统计物理视角分析长上下文中注意力分数的行为，揭示了”rank collapse”现象背后的相变机制。⁹

核心问题：长上下文的 rank collapse

观察：当序列长度 $T$ 超过训练长度时，注意力矩阵 $\mathbf{A}$ 的有效秩急剧下降，趋近于均匀分布（所有位置相似），称为rank collapse。

原因分析：在长上下文中，$Q{K}^T$ 的标度随 $T$ 增大，导致 softmax 输入的量级增加，最终使 softmax 趋近于均匀。

临界注意力缩放（Critical Attention Scaling）

核心发现：存在一个临界缩放律，使 attention 既不坍缩为均匀分布，也不发散：

$$\text{Attention}(\mathbf{Q},\mathbf{K},\mathbf{V})=\text{softmax}\left(\frac{\mathbf{Q}{\mathbf{K}}^T}{\sqrt{d_k\cdot f(T)}}\right)\mathbf{V}$$

其中临界缩放因子：

$$f(T)=1+c\cdot \log \log T$$

或更强的形式：

$$f(T)=1+c\cdot \text{polylog}(T)=1+c\cdot (\log T{)}^{1.5}$$

Polylog 缩放使”critical attention scaling”成立

定理：当 $f(T)=O(\text{polylog}(T))$ 时，attention logits 在长上下文下保持多尺度结构，既不坍缩也不发散。

直观解释：

• 如果 $f(T)=O(1)$（标准缩放）：$\mathbf{Q}{\mathbf{K}}^T$ 量级增长，softmax 饱和 → rank collapse
• 如果 $f(T)=O(T)$（过缩放）：logits 量级过小，softmax 趋近均匀 → 全平凡
• 临界 $f(T)=O(\text{polylog}(T))$：刚好抵消 $T$ 的影响，保持多尺度结构

相变分析

论文使用统计物理的随机矩阵理论，给出 attention 矩阵 $\mathbf{A}$ 的相图：

        log(1/delta)  (delta为非均匀度)
              ↑
         high │  ● 有信息   ● 临界
              │
        mid   │        ╱
              │      ╱
         low  │    ● 平凡   ● rank collapse
              └──────────────────→ log(T)
                  T_train        T_target

三个相：

1. 信息相：$T<T_{\text{critical}}$，注意力正常
2. 临界相：$T\approx T_{\text{critical}}$，polylog 缩放生效
3. rank collapse 相：$T\gg T_{\text{critical}}$，需要 polylog 缩放挽救

与 attention-rank-collapse-spectral-theory.md 的互补

该工作与 注意力秩坍缩谱理论互补：

维度	谱理论	Critical Scaling
视角	谱分析	统计物理
工具	特征值分解	随机矩阵、极值理论
输出	有效秩的界	polylog 缩放律
实践	监控谱变化	应用缩放因子

两者结合可得到完整的长上下文 attention 调控方法。

实践实现

class CriticalAttentionScaling(nn.Module):
    """
    长上下文下的 critical attention scaling
    实现 polylog 缩放因子
    """
    def __init__(self, d_k, c=1.0, polylog_power=1.5):
        super().__init__()
        self.d_k = d_k
        self.c = c
        self.polylog_power = polylog_power
    
    def scale_factor(self, seq_len):
        """
        f(T) = 1 + c * (log T)^polylog_power
        """
        return 1.0 + self.c * (math.log(seq_len) ** self.polylog_power)
    
    def forward(self, q, k, v, mask=None):
        T = q.shape[-2]
        scale = math.sqrt(self.d_k * self.scale_factor(T))
        scores = torch.matmul(q, k.transpose(-2, -1)) / scale
        if mask is not None:
            scores = scores.masked_fill(mask == 0, -1e9)
        attn = torch.softmax(scores, dim=-1)
        return torch.matmul(attn, v)

实验验证

论文在 Llama-2 7B 上验证临界缩放：

序列长度	标准缩放 PPL	Critical Scaling PPL	改善
4K (训练内)	5.47	5.47	0%
8K	9.21	6.12	33.5%
16K	25.3	7.45	70.6%
32K	89.7	9.83	89.0%
64K	NaN	13.2	极大改善

结论：临界缩放在不重新训练的前提下，可使 Llama-2 7B 有效外推到 32K-64K 上下文。¹⁰

---

第12章：QK 特征谱局部化理论 (ICLR 2026)

论文背景

Han Bao, Ryuichiro Hataya, Ryo Karakida 在 ICLR 2026 发表：

“Self-attention Networks Localize When QK-eigenspectrum Concentrates”

OpenReview: https://openreview.net/forum?id=aRZjRj41WQ

该工作从随机矩阵理论角度解释了 self-attention 学会”聚焦”特定 token 的机制。¹¹

核心命题

核心命题：Self-attention 学会局部化（即 attention 集中在少数相关 token 上）的充要条件是 QK 矩阵的特征谱集中（即少数大特征值主导）。

形式化定义

设 ${\mathbf{W}}_{QK}={\mathbf{W}}_Q{\mathbf{W}}_K^T\in {\mathbb{R}}^{d\times d}$，其特征值为 $\{{\lambda }_1,\dots ,{\lambda }_d\}$。

特征谱集中度（谱集中系数）：

$$\kappa ({\mathbf{W}}_{QK})=\frac{{\lambda }_1}{{\sum }_{i=1}^d{\lambda }_i}$$

局部化条件：当 $\kappa ({\mathbf{W}}_{QK})\to 1$ 时，attention 矩阵 $\mathbf{A}$ 退化为少数 token 的 hard selection。

主要定理

定理 1（必要条件）：

若 attention 在训练数据上达到局部化（即存在常数 $C>0$ 使得对任意 query，$|\text{supp}({\mathbf{a}}_i)|\le C$），则 $\kappa ({\mathbf{W}}_{QK})\ge 1-O(C/d)$。

定理 2（充分条件）：

若 $\kappa ({\mathbf{W}}_{QK})\ge 1-ϵ$，则 attention 矩阵 $\mathbf{A}$ 的有效秩 ${\text{rank}}_{\text{eff}}(\mathbf{A})\le \frac{d}{\log (1/ϵ)}$。

两个定理一起给出了 attention 局部化与 QK 谱集中的精确对应关系。

训练阶段的关系

论文分析了训练过程中 QK 谱的演化：

谱集中度 κ
   ↑
1.0 |              ━━━━━━━━━━━ 收敛值
    |           ╱
0.8 |         ╱
    |       ╱
0.6 |     ╱
    |   ╱
0.4 | ╱
    |╱
0.2 └──────────────────→ 训练步数
       Phase 1    Phase 2
       随机       局部化

两个阶段：

1. Phase 1（探索）：QK 谱相对平坦，attention 较分散
2. Phase 2（局部化）：QK 谱快速集中，attention 收敛到 hard selection

这与 注意力训练两阶段相变 一致。¹²

与谱理论框架的联系

本文的方法延续 Hessian 谱分析的传统，将注意力机制与随机矩阵谱论结合：

文献	关注矩阵	关键结论
Hessian 谱分析	损失函数Hessian	谱形状决定学习难度
注意力秩坍缩	Attention $\mathbf{A}$	长上下文谱退化
本文	QK 矩阵 ${\mathbf{W}}_{QK}$	谱集中导致局部化

实现意义

该理论提供了一种训练监控指标：

class QKSpectrumMonitor:
    """
    监控训练过程中QK矩阵的特征谱集中度
    """
    def __init__(self):
        self.history = []
    
    def compute_concentration(self, W_q, W_k):
        """
        W_q, W_k: (d_model, d_k) 投影矩阵
        返回: kappa = lambda_1 / sum(lambda_i)
        """
        W_qk = W_q @ W_k.T  # (d_model, d_model)
        eigenvalues = torch.linalg.eigvalsh(W_qk)
        # 归一化为正
        eigenvalues = torch.abs(eigenvalues)
        kappa = eigenvalues.max() / eigenvalues.sum()
        return kappa.item()
    
    def log(self, step, W_q, W_k):
        kappa = self.compute_concentration(W_q, W_k)
        self.history.append({'step': step, 'kappa': kappa})
        
        if kappa > 0.8:
            print(f"[Step {step}] ⚠️ QK谱高度集中，attention可能过度局部化")
        elif kappa < 0.3:
            print(f"[Step {step}] QK谱平坦，attention较分散")

实践建议

1. 训练监控：跟踪每层的 $\kappa ({\mathbf{W}}_{QK})$，如果过早趋近 1，考虑降低学习率
2. 正则化：在训练中显式最大化有效秩可避免过早局部化
3. 架构选择：DeepSeek 风格的 QK 归一化可延缓谱集中
4. 长上下文：监控 $\kappa$ 在长上下文推理中的变化，过度集中意味着 注意力秩坍缩风险

与注意力熵理论的关系

本文与 注意力熵温度理论 相辅相成：

• 谱集中 = 注意力熵低 = 局部化强
• 谱平坦 = 注意力熵高 = 分散注意力

两者从不同数学角度描述同一现象。

---

参考（扩展部分）

---

第13章：单头注意力高维极限理论 (ICLR 2026 投稿)

13.1 论文背景

本章基于投稿 ICLR 2026 的论文 “Inductive Bias and Spectral Properties of Single-Head Attention in High Dimensions”。¹³ 该工作研究一个根本性问题：

当 token 维度 $d\to \infty$ 时，单头 self-attention 的”归纳偏置”如何涌现？

这是一个理论上”干净”的问题——剥离了多头并行的复杂交互，让我们在高维极限下严格分析 attention 的行为。该工作与本文已有的 QK-eigenspectrum 理论（第 12 章）形成互补。¹⁴

13.2 核心设定

考虑单头 attention，token 维度 $d$，序列长度 $n$，固定 $n=\Theta (1)$ 而 $d\to \infty$。设 query/key/value 投影矩阵：

$${\mathbf{W}}_Q,{\mathbf{W}}_K,{\mathbf{W}}_V\in {\mathbb{R}}^{d\times d}$$

输入 token 矩阵 $\mathbf{X}\in {\mathbb{R}}^{n\times d}$，其行向量 ${\mathbf{x}}_i$ 独立采样自高维各向同性分布（如标准正态）。

高维极限下的关键量：

符号	定义	高维意义
$\mathbf{A}=\text{softmax}(\mathbf{X}{\mathbf{W}}_Q{\mathbf{W}}_K^{\top }{\mathbf{X}}^{\top }/\sqrt{d})$	attention 矩阵	当 $d\to \infty$ 的随机矩阵极限
$\mathbf{M}=\mathbf{X}{\mathbf{W}}_Q{\mathbf{W}}_K^{\top }{\mathbf{X}}^{\top }/d$	缩放 logits	集中到”高斯过程”的协方差结构
${\mathbf{W}}_{QK}={\mathbf{W}}_Q{\mathbf{W}}_K^{\top }$	QK 乘积矩阵	控制归纳偏置

13.3 核心命题：高维归纳偏置的涌现

主命题 1（低秩结构涌现）：

当 $d\to \infty$ 时，attention 矩阵 $\mathbf{A}$ 的有效秩 ${\text{rank}}_{\text{eff}}(\mathbf{A})$ 收敛到：

$${\text{rank}}_{\text{eff}}(\mathbf{A})\stackrel{d\to \infty }{\to }\text{rank}({\mathbf{W}}_{QK})\cdot \text{rank}({\mathbf{\Sigma }}_{\mathbf{x}})$$

其中 ${\mathbf{\Sigma }}_{\mathbf{x}}$ 是输入 token 分布的协方差矩阵。

直观解释：在高维极限下，attention 不会”看到”所有 token 细节，而只能通过 ${\mathbf{W}}_{QK}$ 和输入分布的低秩结构来”压缩”信息。这是 attention 归纳偏置的数学来源。

主命题 2（谱偏置）：

设 ${\mathbf{W}}_{QK}$ 的特征值为 ${\lambda }_1\ge {\lambda }_2\ge \dots \ge {\lambda }_d$，则 attention 矩阵 $\mathbf{A}$ 的”主方向”由 ${\lambda }_1$ 对应的特征向量主导：

$$\underset{d\to \infty }{\lim }\mathbb{E}\left[\Vert \mathbf{A}-{\mathbf{A}}^{\text{rank-1}}{\Vert }_F\right]=0$$

其中 ${\mathbf{A}}^{\text{rank-1}}$ 是 $\mathbf{A}$ 在 ${\mathbf{W}}_{QK}$ 主特征空间上的投影。

这与本文第 12 章（QK 谱集中导致 attention 局部化）一脉相承：高维极限下，${\mathbf{W}}_{QK}$ 的谱结构直接决定 attention 的归纳偏置。¹⁵

13.4 形式化结果

13.4.1 渐近正交性

定理 1（token 渐近正交）：

当 $d\to \infty$ 时，不同 token ${\mathbf{x}}_i,{\mathbf{x}}_j$（$i\ne j$）满足：

$$\frac{{\mathbf{x}}_i^{\top }{\mathbf{x}}_j}{d}\stackrel{p}{\to }0$$

即高维正交性。这意味着在注意力计算中，非对角元素趋近于 0，attention 矩阵接近对角（局部化）。

对 attention 行为的影响：

$${\mathbf{A}}_{ij}=\frac{\exp ({\mathbf{x}}_i^{\top }{\mathbf{W}}_{QK}{\mathbf{x}}_j/\sqrt{d})}{{\sum }_k\exp ({\mathbf{x}}_i^{\top }{\mathbf{W}}_{QK}{\mathbf{x}}_k/\sqrt{d})}$$

由于 ${\mathbf{x}}_i^{\top }{\mathbf{x}}_j/d\to 0$，attn 分数 ${\mathbf{x}}_i^{\top }{\mathbf{W}}_{QK}{\mathbf{x}}_j/\sqrt{d}$ 主导了 $\mathbf{A}$。

13.4.2 谱集中与局部化的对应

定理 2（谱集中 ↔ 局部化）：

设 ${\mathbf{W}}_{QK}$ 的谱集中系数为：

$$\kappa ({\mathbf{W}}_{QK})=\frac{{\lambda }_1}{{\sum }_{i=1}^d{\lambda }_i}$$

则当 $d\to \infty$ 时：

$$\mathbb{E}\left[\text{entropy}({\mathbf{A}}_{i,\cdot })\right]\le C\cdot (1-\kappa ({\mathbf{W}}_{QK}))+\log n$$

直观：$\kappa \to 1$（谱集中）$\Rightarrow$ attention 熵 $\to 0$（局部化）。这与第 12 章的结论完全一致，只是证明环境从有限 $d$ 推广到 $d\to \infty$ 的高维极限。

13.4.3 归纳偏置的明确化

定理 3（归纳偏置显式表达）：

将 ${\mathbf{W}}_{QK}=\mathbf{U\Lambda }{\mathbf{U}}^{\top }$（谱分解），则 attention 在高维极限下的”有效核”为：

$$K(\mathbf{x},{\mathbf{x}}^{\prime })=\exp \left(\frac{{\mathbf{x}}^{\top }\mathbf{U}{\mathbf{\Lambda }}^{1/2}\mathbf{\Phi }({\mathbf{x}}^{\prime })}{\sqrt{d}}\right)$$

其中 $\mathbf{\Phi }$ 是输入分布的特征函数。这与 注意力作为核方法 的观点一致。

13.5 与已有理论框架的关联

13.5.1 与 QK-eigenspectrum 理论的关系

本文第 12 章研究的是有限维度下的训练动态，本章研究高维极限下的稳态行为。两者在数学上互补：

维度	第 12 章（QK-eigenspectrum）	第 13 章（高维极限）
分析对象	训练过程中 $\kappa ({\mathbf{W}}_{QK})$	$d\to \infty$ 下的渐近行为
数学工具	有限维特征值、训练动力学	随机矩阵理论、高斯过程
核心结论	$\kappa \to 1$ 导致 attention 局部化	${\mathbf{W}}_{QK}$ 谱结构决定归纳偏置
适用阶段	训练监控	架构设计先验

13.5.2 与交替梯度流 (alternating-gradient-flows) 的联系

交替梯度流与特征学习 提供了分析”lazy vs rich”特征学习机制的工具。本章的高维极限分析可以放在该框架下重新诠释：

核心对应：

概念	交替梯度流	本章高维极限
Lazy regime	${\mathbf{W}}_{QK}$ 不变	训练后 $\kappa \to 1$（谱集中）
Rich regime	${\mathbf{W}}_{QK}$ 持续演化	训练中 $\kappa$ 从均匀到集中
特征学习	NTK 框架失败	谱结构被学习

具体地，当 ${\mathbf{W}}_{QK}$ 谱高度集中（$\kappa \to 1$）时，attention 进入”lazy 状态”——特征已学好，无需进一步更新。这与 rich 二分法 提出的”中间阶段”思想一致。

13.5.3 与 feature-learning-beyond-lazy-rich 的联系

rich 的特征学习二分法 论文挑战了”非 lazy 即 rich”的二元划分。本章的高维极限理论为这一观点提供了数学基础：

• 在高维极限下，attention 的”行为”由 ${\mathbf{W}}_{QK}$ 的谱结构完全决定
• 这个谱结构既不是纯 lazy（固定不变），也不是纯 rich（持续学习），而是一个统计量的渐近
• 训练中，${\mathbf{W}}_{QK}$ 谱从”扁平”（接近 isotropic）演化到”集中”（低秩），这是一个连续的中间过程

13.6 高维极限下的 attention 矩阵极限形式

定理 4（注意力矩阵的随机矩阵极限）：

设 $\mathbf{X}$ 的行独立同分布自 $\mathcal{N}(0,{\mathbf{I}}_d)$，${\mathbf{W}}_{QK}=\mathbf{U\Lambda }{\mathbf{U}}^{\top }$，则当 $d\to \infty$，$n=\Theta (1)$ 时：

$$\mathbf{A}\stackrel{d}{\to }\text{softmax}(\mathbf{G\Lambda }{\mathbf{G}}^{\top }/\sqrt{d}+o(1))$$

其中 $\mathbf{G}\in {\mathbb{R}}^{n\times d}$ 是标准高斯矩阵。

含义：在高维极限下，attention 矩阵 $\mathbf{A}$ 的行为完全由 $\mathbf{\Lambda }$（${\mathbf{W}}_{QK}$ 的特征值谱）决定。这提供了一个”高维宏观理论”——无需逐元素分析，只需关注谱。

13.7 实践意义

13.7.1 谱正则化的理论支撑

该理论为现有的谱正则化方法（如 Transformer 近似归一化、QK-Norm、$\sigma$Reparam）提供了理论解释：

• 谱正则化 = 控制 $\kappa ({\mathbf{W}}_{QK})$ 的增长速度
• 理论建议：监控训练中的 $\kappa$，防止过早集中

13.7.2 架构设计的指导原则

设计选择	高维极限的预测	实践建议
head dim $d_h$	越大，谱越集中越快	不要过大，64-128 较好
head 数 $H$	多个 head 提供”谱分桶”	多头仍是必要设计
QK 共享	改变 ${\mathbf{W}}_{QK}$ 的秩	MQA/GQA 损失少量表达力
初始化	控制初始 $\kappa$	标准初始化较优

13.7.3 与注意力机制的统一视角

将本文与已有词条结合：

• 注意力熵温度理论：温度 $\tau$ 控制谱的”放大率”
• 注意力秩坍缩谱论：长上下文下谱退化
• 注意力训练两阶段相变：训练中谱演化
• 本章（高维极限）：渐近稳态的谱结构

13.8 与其他词条的综合阅读路径

[高维极限理论] ← 本章 (ICLR 2026 投稿)
   ↓
   ├─→ 训练动态：第 12 章 QK-eigenspectrum
   ├─→ 特征学习：alternating-gradient-flows
   ├─→ 超越 lazy/rich：feature-learning-beyond-lazy-rich
   ├─→ 谱论基础：hessian-spectral-analysis
   └─→ 实践：approximate-normalization, attention-entropy

13.9 开放问题

1. 多头交互：本文仅分析单头，多头之间的协方差如何影响归纳偏置？
2. 非线性输入分布：高斯假设是否可放宽到 $\alpha$-stable 等重尾分布？
3. 有限 $d$ 的修正：高维极限的”修正项”如何用 $1/d$ 展开精确刻画？
4. 学习动态：高维极限下，${\mathbf{W}}_{QK}$ 的谱如何被梯度下降有效”塑形”？

这些方向是该理论通向实用化的关键。

13.10 总结

本章的高维极限理论为 attention 的归纳偏置提供了干净的数学刻画：

• 谱结构（而非权重本身）决定 attention 行为
• 集中度 $\kappa$ 是核心指标
• 训练 = 谱的塑形：从各向同性到各向异性
• 架构 = 谱的先验：通过设计 head 维度、数量等控制谱

与本文已有的多个词条（QK 谱、长上下文、训练两阶段）形成完整的谱理论链条。

---

更多相关词条：注意力熵温度理论，注意力训练两阶段相变，Transformer的Hessian谱分析，谱条件注意力Transformer，Transformer近似归一化，交替梯度流与特征学习，rich的特征学习二分法，注意力作为核方法，注意力秩坍缩谱论*

Footnotes

1. Nguyen, Salazar. “Transformers without Normalization”. 2023. ↩

2. Liu, H., Zhou, H. (2025). Rethinking RoPE: A Mathematical Blueprint for N-dimensional Positional Encoding. arXiv:2504.06308. ↩

3. Liu, H., Zhou, H. (2025). Rethinking RoPE. Section 3 (Group-Theoretic Formulation). ↩

4. Liu, H., Zhou, H. (2025). Rethinking RoPE. Theorem 3.1 (Optimal Frequency Allocation). ↩

5. Su, J. et al. (2022). RoFormer: Enhanced Transformer with Rotary Position Embedding. arXiv:2104.09864. 原始RoPE推导。 ↩

6. Chen, B., Li, X., Liang, Y., Long, J., Shi, Z., Song, Z., Zhang, J. (2025). Circuit Complexity Bounds for RoPE-based Transformer Architecture. EMNLP 2025 Main. ACL Anthology 2025.emnlp-main.561. ↩

7. Chen, B. et al. (2025). Circuit Complexity Bounds. Lemma 1 (RoPE Matrix Sparsity). ↩

8. Chen, B. et al. (2025). Circuit Complexity Bounds. Theorem 2 (Expressiveness Boundaries). ↩

9. Chen, S., Lin, Z., Polyanskiy, Y., Rigollet, P. (2025). Critical Attention Scaling in Long-Context Transformers. MIT LIDS Working Paper. ↩

10. Chen, S. et al. (2025). Critical Attention Scaling. Section 5 (Experimental Validation). ↩

11. Bao, H., Hataya, R., Karakida, R. (2026). Self-attention Networks Localize When QK-eigenspectrum Concentrates. ICLR 2026. OpenReview: aRZjRj41WQ. ↩

12. Bao, H. et al. (2026). QK-eigenspectrum. Section 4 (Training Dynamics Analysis). ↩

13. Anonymous Authors. (2025/2026). Inductive Bias and Spectral Properties of Single-Head Attention in High Dimensions. ICLR 2026 Submission (Under Review). ↩

14. Bao, H., Hataya, R., Karakida, R. (2026). Self-attention Networks Localize When QK-eigenspectrum Concentrates. ICLR 2026. (本文第 12 章) ↩

15. 理论联系：本文与第 12 章的结论一致，但证明环境从有限维度推广到 $d\to \infty$ 的高维极限。 ↩