Nexusformer：非线性注意力扩展与稳定可继承的Transformer缩放

1. 引言与动机

Transformer架构已成为现代深度学习的基石，其核心的自注意力机制通过缩放点积注意力实现全局依赖建模：

$$\text{Attention}(Q,K,V)=\text{softmax}\left(\frac{Q{K}^{\top }}{\sqrt{d_k}}\right)V$$

然而，随着模型规模的不断增大，传统的Transformer面临着根本性的限制：线性Q/K/V投影将特征提取囚禁在固定维度的子空间中。这导致模型缩放时必须从头训练，无法有效继承预训练知识。

本文档介绍Nexusformer¹，一种通过非线性注意力扩展实现稳定、可继承Transformer缩放的新型架构。

2. 问题形式化：线性投影的局限性

2.1 标准注意力中的瓶颈

在标准Transformer中，输入 $\mathbf{x}\in {\mathbb{R}}^d$ 通过线性投影得到：

$$\mathbf{q}=W_Q\mathbf{x},\mathbf{k}=W_K\mathbf{x},\mathbf{v}=W_V\mathbf{x}$$

其中 $W_Q,W_K,W_V\in {\mathbb{R}}^{d\times d}$ 为可学习参数。这一设计存在以下局限：

定理2.1（线性子空间囚禁）：标准注意力的特征提取能力被限制在线性子空间 $\mathcal{S}\subset {\mathbb{R}}^d$ 中，其中：

$$\mathcal{S}=\text{span}\{W_Q,W_K,W_V\}\cdot \mathbf{x}$$

证明：对于任意输入 $\mathbf{x}$，输出的注意力特征 $\mathbf{a}=\text{Attn}(W_Q\mathbf{x},W_K\mathbf{x},W_V\mathbf{x})$ 必然属于 ${\mathbb{R}}^d$ 中的某个固定维度子空间。这意味着更高阶的交互模式（如词组、句式结构）无法被有效建模。

2.2 缩放失效问题

当尝试通过增加模型宽度或深度来扩展预训练模型时，线性投影的固定子空间结构导致：

1. 表示崩溃：新参数倾向于复制而非增强已有表示
2. 梯度冲突：新旧参数在优化方向上产生干扰
3. 知识遗忘：扩展过程中预训练知识被覆盖

这一现象可形式化为：

$$\underset{\Delta W}{\min }{\mathbb{E}}_{\mathbf{x}}\Vert \mathcal{F}(W+\Delta W;\mathbf{x})-\mathcal{F}(W;\mathbf{x})\Vert +\lambda \Vert \Delta W{\Vert }_F^2$$

其中 $\mathcal{F}$ 表示注意力函数。解的存在性要求 $\Delta W$ 落在 $W$ 的列空间中，这本质上限制了表达能力。

3. Nexus-Rank层：非线性映射的数学框架

3.1 三阶段非线性映射架构

Nexusformer提出Nexus-Rank层，通过三阶段非线性映射在渐进更高维空间中进行特征提取：

第一阶段（升维非线性）：

$${\mathbf{h}}_1=\sigma (W_1\mathbf{x}+{\mathbf{b}}_1)$$

其中 $W_1\in {\mathbb{R}}^{d_1\times d}$，$d_1>d$，$\sigma$ 为非线性激活函数（如GELU）。

第二阶段（高维交互）：

$${\mathbf{h}}_2=\sigma (W_2{\mathbf{h}}_1+{\mathbf{b}}_2)$$

其中 $W_2\in {\mathbb{R}}^{d_2\times d_1}$，$d_2\gg d$，执行在高维空间中的信息交互。

第三阶段（降维聚合）：

$${\mathbf{h}}_3=W_3{\mathbf{h}}_2+{\mathbf{b}}_3$$

其中 $W_3\in {\mathbb{R}}^{d\times d_2}$，将高维特征投影回原始空间。

3.2 对偶激活机制

Nexus-Rank层的核心创新在于对偶激活设计：

$$\tilde{\mathbf{h}}=\alpha \cdot {\mathbf{h}}_3+(1-\alpha )\cdot {\mathbf{h}}_{\text{skip}}$$

其中：

• ${\mathbf{h}}_{\text{skip}}=W_{\text{skip}}\mathbf{x}$ 为跳跃连接路径
• $\alpha \in [0,1]$ 为可学习的门控权重

这种设计确保：

1. 当 $\alpha \to 0$ 时，退化为标准线性投影（保持兼容性）
2. 当 $\alpha \to 1$ 时，充分利用非线性表达能力

3.3 秩保持性质

定理3.1（秩保持定理）：对于Nexus-Rank层输出的注意力矩阵 $A\in {\mathbb{R}}^{n\times n}$，其有效秩满足：

$$\text{rank}(A_{\text{nexus}})\ge \text{rank}(A_{\text{linear}})$$

证明：非线性激活 $\sigma (\cdot )$ 在高维空间 ${\mathbb{R}}^{d_2}$ 中引入新的方向基，使得注意力矩阵的列空间维度增加，从而提升有效秩。

4. 零初始化的无损结构化增长

4.1 增长机制的数学表述

Nexusformer引入结构化增长机制，沿两个正交轴扩展模型：

定义4.1（容量轴增长）：在固定深度下增加Nexus-Rank层的维度：

$${\mathcal{G}}_c(W,\Delta d)=\left[\begin{array}{cc}W& W_{\text{new}}\\ 0& W_{\text{init}}\end{array}\right]$$

定义4.2（扩展轴增长）：增加新的Nexus-Rank层：

$${\mathcal{G}}_e(\mathcal{L},\Delta L)=\mathcal{L}\oplus \{{\text{NexusRank}}_{\text{init}}{\}}^{\Delta L}$$

4.2 零初始化保证

定理4.1（无损继承定理）：设 ${\theta }^{\ast }$ 为预训练模型的最优参数，则增长后的参数 ${\theta }^{\prime }=[{\theta }^{\ast };{\theta }_{\text{new}}]$ 满足：

$$\mathcal{L}({\theta }^{\prime })=\mathcal{L}({\theta }^{\ast })\text{当且仅当}{W}_{\text{new}}=0$$

证明：定义损失函数 $\mathcal{L}(\theta )={\mathbb{E}}_{\mathbf{x},\mathbf{y}}[l(f(\mathbf{x};\theta ),\mathbf{y})]$。当新增参数 $W_{\text{new}}=0$ 时，网络输出恒等于原模型输出 $f(\mathbf{x};{\theta }^{\ast })$，因此 $\mathcal{L}({\theta }^{\prime })=\mathcal{L}({\theta }^{\ast })$。

这意味着扩展操作是零损伤的，模型可以无缝继承预训练知识。

4.3 渐进激活原理

增长后，新增参数通过以下机制逐渐激活：

$${\mathbf{h}}_{\text{new}}(t)={\mathbf{h}}_{\text{new}}(0)\cdot \varphi (t)$$

其中 $\varphi (t)$ 为随训练步数 $t$ 单调递增的激活因子，通常采用Sigmoid曲线：

$$\varphi (t)=\frac{1}{1+e^{-\beta (t-t_0)}}$$

5. 几何缩放定律

5.1 零初始化的几何解释

Nexusformer的零初始化机制在参数空间中定义了一条测地路径：

引理5.1（测地路径）：从 ${\theta }^{\ast }$ 到 ${\theta }^{\prime }$ 的参数轨迹满足：

$$\gamma (t)={\theta }^{\ast }+t\cdot \Delta \theta ,t\in [0,1]$$

其中 $\Delta \theta =[0;{\theta }_{\text{new}}]$。

引理5.2（曲率约束）：沿 $\gamma (t)$ 的损失曲率被上界约束：

$$\kappa (t)\le {\kappa }_{\max }={\lambda }_{\max }(H_{\mathcal{L}}({\theta }^{\ast }))$$

这保证了优化过程的稳定性。

5.2 计算-性能权衡

定理5.1（几何缩放定律）：Nexusformer的计算开销 $C$ 与模型性能 $P$ 满足：

$$P(P606,C)=P_{\max }-\gamma \cdot C^{-\delta }\cdot e^{-\eta \cdot I({\theta }^{\ast },{\theta }^{\prime })}$$

其中：

• $I(\cdot ,\cdot )$ 为参数间的互信息
• $\gamma ,\delta ,\eta$ 为数据集相关的常数
• $P_{\max }$ 为理论性能上界

这一公式揭示了Nexusformer相比标准Transformer的优势：零初始化保留了预训练知识，减少了达到相同性能所需的计算量。

6. 实验验证

6.1 核心结果

Nexusformer在多个基准上展示了显著的效率提升：

指标	标准Transformer	Nexusformer	提升
训练计算量减少	—	—	41.5%
模型规模扩展	240M	440M	1.83×
知识继承率	~60%	~95%	+35%
收敛稳定性	中等	高	—

6.2 扩展性实验

实验设置：从240M参数的预训练模型出发，沿两个轴进行扩展：

1. 容量轴：逐步增加Nexus-Rank层维度（$d_2:512\to 1024\to 2048$）
2. 扩展轴：逐步增加层数（$L:12\to 18\to 24$）

结果分析：

• 两种扩展方式均保持接近100%的知识继承率
• 最终达到440M参数规模，性能显著超越从头训练的同等规模模型
• 训练曲线显示收敛过程更加稳定，波动减少

6.3 与现有方法对比

方法	预训练继承	计算效率	扩展性
LoRA	✓ (部分)	高	中
知识蒸馏	✗	中	低
标准缩放	✗	低	中
Nexusformer	✓ (完全)	高	高

7. 与相关工作的联系

7.1 与标准注意力的关系

Nexusformer是标准注意力机制的自然推广。当Nexus-Rank层的维度扩展因子为1且激活函数为恒等映射时，Nexusformer退化为标准Transformer。

7.2 与高阶注意力的关系

与高阶注意力机制类似，Nexusformer通过非线性映射捕获更高阶的token交互模式。关键区别在于：

• 高阶注意力：显式构建高阶统计量 $\mathbb{E}[{\mathbf{q}}^p{\mathbf{k}}^q]$
• Nexusformer：隐式通过高维空间非线性映射实现等效表达

7.3 与其他扩展方法的比较

方法	线性/非线性	知识继承	理论基础
宽度扩展	线性	弱	弱
深度扩展	线性	弱	弱
MoE	非线性	中	中
Nexusformer	非线性	强	几何理论

8. 技术细节与实现

8.1 代码框架

import torch
import torch.nn as nn
import torch.nn.functional as F
import math
 
class NexusRankLayer(nn.Module):
    """
    Nexus-Rank Layer: 三阶段非线性Q/K/V投影
    """
    def __init__(self, d_model, d_expand, dropout=0.1):
        super().__init__()
        self.d_model = d_model
        self.d_expand = d_expand
        
        # 第一阶段：升维非线性
        self.W_up = nn.Linear(d_model, d_expand)
        # 第二阶段：高维交互
        self.W_interact = nn.Linear(d_expand, d_expand)
        # 第三阶段：降维聚合
        self.W_down = nn.Linear(d_expand, d_model)
        
        # 跳跃连接
        self.W_skip = nn.Linear(d_model, d_model)
        # 门控权重
        self.alpha = nn.Parameter(torch.tensor(0.5))
        
        self.dropout = nn.Dropout(dropout)
        self.activation = nn.GELU()
        
        # 零初始化
        self._zero_init_new_params()
    
    def _zero_init_new_params(self):
        """零初始化新增参数，确保无损扩展"""
        nn.init.zeros_(self.W_up.weight)
        nn.init.zeros_(self.W_up.bias)
        nn.init.zeros_(self.W_interact.weight)
        nn.init.zeros_(self.W_interact.bias)
        nn.init.zeros_(self.W_down.weight)
        nn.init.zeros_(self.W_down.bias)
    
    def forward(self, x):
        # 跳跃连接路径
        h_skip = self.W_skip(x)
        
        # 三阶段非线性映射
        h1 = self.activation(self.W_up(x))
        h2 = self.activation(self.W_interact(h1))
        h3 = self.W_down(h2)
        
        # 对偶激活
        out = self.alpha * h3 + (1 - self.alpha) * h_skip
        return self.dropout(out)
 
 
class NexusAttention(nn.Module):
    """
    基于Nexus-Rank的注意力机制
    """
    def __init__(self, d_model, num_heads, d_expand=2048):
        super().__init__()
        self.d_model = d_model
        self.num_heads = num_heads
        self.d_k = d_model // num_heads
        
        # Nexus-Rank投影层
        self.q_nexus = NexusRankLayer(d_model, d_expand)
        self.k_nexus = NexusRankLayer(d_model, d_expand)
        self.v_nexus = NexusRankLayer(d_model, d_expand)
        
        self.W_o = nn.Linear(d_model, d_model)
    
    def forward(self, query, key, value, mask=None):
        batch_size = query.size(0)
        
        # 非线性Q/K/V投影
        Q = self.q_nexus(query).view(batch_size, -1, self.num_heads, self.d_k).transpose(1, 2)
        K = self.k_nexus(key).view(batch_size, -1, self.num_heads, self.d_k).transpose(1, 2)
        V = self.v_nexus(value).view(batch_size, -1, self.num_heads, self.d_k).transpose(1, 2)
        
        # 缩放点积注意力
        scores = torch.matmul(Q, K.transpose(-2, -1)) / math.sqrt(self.d_k)
        
        if mask is not None:
            scores = scores.masked_fill(mask == 0, -1e9)
        
        attn_weights = F.softmax(scores, dim=-1)
        attn_output = torch.matmul(attn_weights, V)
        
        # 合并多头
        attn_output = attn_output.transpose(1, 2).contiguous().view(batch_size, -1, self.d_model)
        
        return self.W_o(attn_output), attn_weights

8.2 扩展操作的实现

class NexusFormerExpander:
    """
    Nexusformer结构化增长扩展器
    """
    def __init__(self, model):
        self.model = model
        self.original_params = {}
        self._save_original_params()
    
    def _save_original_params(self):
        """保存原始参数用于后续对比"""
        for name, param in self.model.named_parameters():
            self.original_params[name] = param.data.clone()
    
    def expand_capacity(self, layer_idx, new_d_expand):
        """
        沿容量轴扩展：增加Nexus-Rank层维度
        """
        layer = self.model.layers[layer_idx]
        
        # 创建新的扩展层
        new_q_nexus = NexusRankLayer(layer.d_model, new_d_expand)
        new_k_nexus = NexusRankLayer(layer.d_model, new_d_expand)
        new_v_nexus = NexusRankLayer(layer.d_model, new_d_expand)
        
        # 替换并零初始化新部分
        # ... (拼接逻辑)
        
        return self.model
    
    def expand_depth(self, num_new_layers):
        """
        沿扩展轴扩展：增加新的Nexus-Rank层
        """
        for _ in range(num_new_layers):
            new_layer = TransformerLayer(
                attention=NexusAttention(self.model.d_model, self.model.num_heads)
            )
            # 零初始化新增层
            self._zero_init_layer(new_layer)
            self.model.layers.append(new_layer)
        
        return self.model
    
    def _zero_init_layer(self, layer):
        """对新增层执行零初始化"""
        for param in layer.parameters():
            nn.init.zeros_(param)

9. 理论意义与未来方向

9.1 理论贡献

Nexusformer为Transformer缩放提供了新的理论基础：

1. 几何视角：将模型扩展形式化为参数空间中的测地路径
2. 信息论解释：零初始化保持了预训练知识的信息熵结构
3. 优化几何：损失曲面的曲率被约束，保证稳定收敛

9.2 开放问题

• 最优扩展策略：如何确定容量轴与扩展轴的最优增长比例？
• 激活函数选择：不同激活函数对表达能力的具体影响如何量化？
• 与MoE的结合：能否将Nexus-Rank层与混合专家架构结合？

9.3 潜在应用

1. 持续预训练：在已有大模型基础上高效扩展
2. 领域适应：通过扩展维度注入领域特定知识
3. 动态计算：根据输入复杂度自适应调整Nexus-Rank层激活

10. 结论

Nexusformer通过Nexus-Rank层和零初始化的结构化增长机制，解决了传统Transformer缩放中的核心问题。实验证明，该方法能够：

• 减少41.5%的训练计算量
• 实现240M→440M的稳定模型扩展
• 保持~95%的预训练知识继承率

这一工作为构建可持续扩展的基础模型提供了新的技术路径和理论框架。

---

参考

Footnotes

1. Nexusformer: Nonlinear Attention Expansion for Stable and Inheritable Transformer Scaling. arXiv:2604.19147 ↩