Transformer作为连续微分方程

概述

Transformer架构彻底改变了序列建模领域，是GPT、LLaMA等大语言模型（LLM）的核心基石。然而，迄今为止仍缺乏一套完整的数学理论来解释其结构和操作。

本文介绍一种新颖的连续框架，将Transformer严格解释为结构化**积分-微分方程（integro-differential equation）**的离散化¹。在这一形式化下：

• 自注意力机制自然地作为非局部积分算子出现
• 层归一化被刻画为到时变约束集的投影

这种算子理论和变分视角为理解Transformer的核心组件（注意力、前馈网络、归一化）提供了统一且可解释的理论基础。

1. 预备知识：离散Transformer编码器

1.1 基本定义

设输入为矩阵 $\mathbf{u}=[u_1^{\top },u_2^{\top },\dots ,u_{N_x}^{\top }{]}^{\top }\in {\mathbb{R}}^{N_x\times N_y}$，其中：

• $N_x$ 是token数量
• $N_y$ 是嵌入维度
• 每个 $u_i\in {\mathbb{R}}^{N_y}$ 是对应token的嵌入表示

1.2 自注意力机制

通过学习到的权重矩阵 $W_Q,W_K,W_V\in {\mathbb{R}}^{N_y\times N_y}$ 计算Query、Key、Value：

$$Q=u{W}_Q,K=u{W}_K,V=u{W}_V$$

缩放点积注意力为：

$$\mathrm{Attention}(Q,K,V)=\mathrm{Softmax}\left(\frac{Q{K}^{\top }}{\sqrt{N_y}}\right)V$$

其中softmax沿行方向应用。

1.3 层归一化

对输入向量 $z\in {\mathbb{R}}^{N_y}$，层归一化定义为：

$$\mathrm{LayerNorm}(z)=\frac{z-\mu }{\sigma }\odot \gamma +\beta$$

其中 $\mu ,\sigma$ 是 $z$ 的均值和标准差，$\gamma ,\beta \in {\mathbb{R}}^{N_y}$ 是可学习参数。

1.4 前馈网络

$$\mathrm{FFN}(z)=\mathrm{ReLU}(z{W}_1+b_1)W_2+b_2$$

1.5 完整编码器块

标准Transformer编码器层结合残差连接：

$$\begin{array}{rl}{u}^{\prime }& =u+\mathrm{Attention}(Q,K,V)\\ u^{\prime \prime }& =\mathrm{LayerNorm}(u^{\prime })\\ u^{\prime \prime \prime }& =u^{\prime \prime }+\mathrm{FFN}(u^{\prime \prime })\\ u_{\text{out}}& =\mathrm{LayerNorm}(u^{\prime \prime \prime })\end{array}$$

2. 连续Transformer模型

2.1 连续化动机

深度神经网络的连续时间视角近年来获得了广泛关注²³。这些连续视角不仅深化了理论理解，还为架构设计和分析提供了原则性框架。

2.2 连续域设置

设：

• ${\Omega }_x=[0,L_x{]}^{d_x}$：token索引的连续域
• ${\Omega }_y=[0,L_y{]}^{d_y}$：token向量各分量的连续域
• $u(x,y,t)$：定义在 ${\Omega }_x\times {\Omega }_y\times [0,T]$ 上的函数

在LLM应用中：

• $x\in {\Omega }_x$ 对应token的索引
• $y\in {\Omega }_y$ 对应token向量的各分量

2.3 积分变换

定义三个核函数 $W_Q,W_K,W_V$ 在 ${\Omega }_y\times {\Omega }_y\times [0,T]$ 上。对于给定函数 $u(x,y,t)$，定义积分变换：

$$\begin{array}{rl}Q(x,y,t;u)& =⟨W_Q(\cdot ,y,t),u(x,\cdot ,t){⟩}_{{\Omega }_y}={\int }_{{\Omega }_y}{W}_Q(\xi ,y,t)u(x,\xi ,t)d\xi \\ K(x,y,t;u)& =⟨W_K(\cdot ,y,t),u(x,\cdot ,t){⟩}_{{\Omega }_y}={\int }_{{\Omega }_y}{W}_K(\xi ,y,t)u(x,\xi ,t)d\xi \\ V(x,y,t;u)& =⟨W_V(\cdot ,y,t),u(x,\cdot ,t){⟩}_{{\Omega }_y}={\int }_{{\Omega }_y}{W}_V(\xi ,y,t)u(x,\xi ,t)d\xi \end{array}$$

这三个积分变换将用于生成注意力分数和提取特征。

2.4 注意力分数

$$\gamma (x,\bar{x},t;u)={\mathrm{Softmax}}_2\left(\frac{1}{\sqrt{|{\Omega }_y|}}⟨Q(x,\cdot ,t;u),K(\bar{x},\cdot ,t;u){⟩}_{{\Omega }_y}\right)$$

其中 ${\mathrm{Softmax}}_2$ 沿第二维应用：

$${\mathrm{Softmax}}_2(a(x,\bar{x},t))=\frac{\exp (a(x,\bar{x},t))}{{\int }_{{\Omega }_x}\exp (a(x,\eta ,t))d\eta }$$

2.5 层归一化的数学刻画

定义约束集：

$${\mathcal{S}}_1({\sigma }_1,{\sigma }_2)=\left\{u:\frac{1}{|{\Omega }_y|}{\int }_{{\Omega }_y}u(x,\xi ,t)d\xi ={\sigma }_1,\frac{1}{|{\Omega }_y|}{\int }_{{\Omega }_y}(u(x,\xi ,t)-{\sigma }_1{)}^{2}d\xi ={\sigma }_2^2\right\}$$

和

$${\mathcal{S}}_2=\{u:u\ge 0\}$$

对应的指示函数：

$$I_{{\mathcal{S}}_1({\sigma }_1,{\sigma }_2)}(u)=\{\begin{array}{ll}0& \text{if }u\in {\mathcal{S}}_1\\ +\infty & \text{otherwise}\end{array}$$

2.6 连续Transformer方程

核心方程：设 $J$ 为前馈网络层数，则连续Transformer为：

$$\{\begin{array}{l}{u}_t=\underset{\text{I: Attention}}{\underbrace{⟨\gamma (x,\cdot ,t;u),V(\cdot ,y,t;u){⟩}_{{\Omega }_x}}}+\underset{\text{II: Layer Norm}}{\underbrace{\partial I_{{\mathcal{S}}_1({\sigma }_1(t),{\sigma }_2(t))}(u)}}\\ +\underset{\text{III: Fully Connected}}{\underbrace{\sum _{j=1}^J\left(⟨W_j(\cdot ,y,t),u(x,\cdot ,t){⟩}_{{\Omega }_y}+b_j(x,t)\right)}}+\underset{\text{IV: Activation}}{\underbrace{\partial I_{{\mathcal{S}}_2}(u)}}\\ u(x,y,0)=f(x,y)\end{array}\text{\hspace{1em}(1)}$$

对于 $t\in (0,T]$，$(x,y)\in {\Omega }_x\times {\Omega }_y$。

2.7 控制变量

将所有可学习参数记为 $\theta$：

$$\theta =\{W_Q,W_K,W_V,\{W_j,b_j{\}}_{j=1}^J,{\sigma }_1(t),{\sigma }_2(t)\}$$

连续Transformer是映射：

$${\mathcal{N}}_{\theta }:f\mapsto u(\cdot ,\cdot ,T)$$

3. 算子分裂离散化

3.1 时间离散化

采用Lie分裂格式对时间变量进行离散化。设时间网格 $\{t^n{\}}_{n=0}^{N_t}$，时间步长 $\Delta t=T/N_t$。

单个时间层的分裂步骤（取 $M=4+J$ 个子步，$\Delta t=1$）：

子步1（注意力层）：

$$u^{1/M}-u^0=⟨{\gamma }^0(x,\cdot ;u^0),V^0(\cdot ,y;u^0){⟩}_{{\Omega }_x}$$

子步2（层归一化）：

$$u^{2/M}-u^{1/M}=\partial I_{{\mathcal{S}}_1({\sigma }_1^0,{\sigma }_2^0)}(u^{2/M})$$

子步3至$2+J$（前馈网络 + ReLU激活）：

$$u^{(2+j)/M}-u^{(1+j)/M}=⟨W_j^0(\cdot ,y),u^{(1+j)/M}(x,\cdot ){⟩}_{{\Omega }_y}+b_j^0(x)+\partial I_{{\mathcal{S}}_2}(u^{(2+j)/M})$$

子步$3+J$（跳跃连接松弛）：

$$u^{(3+J)/M}=\frac{1}{2}(u^{(2+J)/M}+u^{2/M})$$

子步$4+J$（最终层归一化）：

$$u^1-u^{(3+J)/M}=\partial I_{{\mathcal{S}}_1({\sigma }_1^0,{\sigma }_2^0)}(u^1)$$

3.2 各子问题的显式解

注意力层（子步1）

$$u^{1/M}=u^0+{\int }_{{\Omega }_x}{\mathrm{Softmax}}_2\left(\frac{1}{\sqrt{|{\Omega }_y|}}⟨Q^0(x,\cdot ;u^0),K^0(\eta ,\cdot ;u^0){⟩}_{{\Omega }_y}\right)V^0(\eta ,y;u^0)d\eta$$

层归一化（子步2和最后子步）

投影问题：

$$u=\arg \underset{\bar{u}\in {\mathcal{S}}_1({\sigma }_1,{\sigma }_2)}{\min }\frac{1}{2}\Vert \bar{u}-v{\Vert }_{{\Omega }_y}^2$$

定理（闭式解）：

$$u(x,y)=v(x,y)-\frac{\alpha (x;v)}{\sqrt{\beta (x;v)}}\cdot \frac{{\sigma }_2}{\sqrt{\beta (x;v)}}+{\sigma }_1$$

其中：

$$\alpha (x;v)=\frac{1}{|{\Omega }_y|}{\int }_{{\Omega }_y}v(x,\xi )d\xi ,\beta (x;v)=\frac{1}{|{\Omega }_y|}{\int }_{{\Omega }_y}(v(x,\xi )-\alpha (x;v){)}^{2}d\xi$$

这正是层归一化的连续形式！

ReLU激活（子步$2+j$）

$$u^{(2+j)/M}=\max \{{\bar{u}}^{(2+j)/M},0\}=\mathrm{ReLU}({\bar{u}}^{(2+j)/M})$$

4. 空间离散化与Transformer恢复

4.1 空间网格

设 ${\Omega }_x=[0,L_x]$，${\Omega }_y=[0,L_y]$，分别用 $N_x$ 和 $N_y$ 个网格点均匀离散化。

取 $L_x=N_x$，$L_y=N_y$，则网格步长 $\Delta x=\Delta y=1$。

4.2 离散积分变换

$$Q^0(u^0)=u^0{W}_Q^0,K^0(u^0)=u^0{W}_K^0,V^0(u^0)=u^0{W}_V^0$$

其中 $u^0\in {\mathbb{R}}^{N_x\times N_y}$，$W_Q^0,W_K^0,W_V^0\in {\mathbb{R}}^{N_y\times N_y}$ 是矩阵，离散积分变换对应标准矩阵乘法。

4.3 离散注意力

定理：经过算子分裂离散化后，方程(1)精确恢复Transformer编码器架构。

4.4 对应关系

连续Transformer	Transformer组件
积分变换 $Q,K,V$	$Q=u{W}_Q,K=u{W}_K,V=u{W}_V$
${\mathrm{Softmax}}_2$	行方向softmax
$⟨\gamma ,V{⟩}_{{\Omega }_x}$	注意力加权求和
$\partial I_{{\mathcal{S}}_1}$	层归一化（均值-方差标准化）
$⟨W_j,u⟩+b_j$	线性层 $u{W}_j+b_j$
$\partial I_{{\mathcal{S}}_2}$	ReLU激活
跳跃连接	松弛步骤（平均操作）

4.5 一个时间步 = 一个Transformer块

关键发现：Lie分裂的一个完整循环（$M=4+J$个子步）恰好对应一个Transformer编码器层！

取 $J=2$（标准Transformer配置），则 $M=6$，得到标准Transformer块。

整个网络是 $N_t$ 个Transformer块的组合。

5. 多头注意力

5.1 连续头维度

扩展核函数到包含头维度：

$$W_Q(y,\bar{y},h,t),W_K(y,\bar{y},h,t),W_V(y,\bar{y},h,t)$$

定义域为 ${\Omega }_y\times {\Omega }_y\times {\Omega }_h\times [0,+\infty )$，其中 $h$ 是头维度变量。

5.2 多头注意力方程

$$u_t={\int }_{{\Omega }_h}⟨\gamma (x,\cdot ,h,t;u),V(\cdot ,y,h,t;u){⟩}_{{\Omega }_x}dh+\cdots$$

5.3 离散化恢复多头注意力

离散化后得到：

$$u^{1/M}=u^0+\sum _{m=1}^{N_h}{\mathrm{Softmax}}_2\left(\frac{1}{\sqrt{L_x}}{Q}_m^0(u^0)(K_m^0(u^0){)}^{\top }\right)V_m^0(u^0)$$

这正是具有 $N_h$ 个头的多头注意力！

6. 变分视角与学习问题

6.1 连续学习问题

给定数据集 $\{(u^i,v^i){\}}_{i=1}^B$，其中 $u^i$ 是输入，$v^i$ 是目标状态。设 $\ell (\cdot ,\cdot )$ 是衡量差异的损失函数。

学习问题可表述为最优控制问题：

$$\underset{\theta }{\min }\frac{1}{B}\sum _{i=1}^B\ell ({\mathcal{N}}_{\theta }(u^i),v^i)$$

受约束于 ${\mathcal{N}}_{\theta }(u^i)$ 满足连续Transformer方程。

6.2 离散学习问题

设 $\bar{\theta }=\{{\theta }^n{\}}_{n=1}^{N_t}$ 是所有时间层的可学习参数。离散学习问题为：

$$\underset{\bar{\theta }}{\min }\frac{1}{B}\sum _{i=1}^B\ell ({\bar{\mathcal{N}}}_{\bar{\theta }}(u^i),v^i)$$

其中 ${\bar{\mathcal{N}}}_{\bar{\theta }}={\mathcal{N}}_{{\theta }^{N_t}}\circ \cdots \circ {\mathcal{N}}_{{\theta }^1}$。

6.3 训练即求解控制问题

核心洞察：训练Transformer等价于求解上述约束优化问题。这建立了深度学习与最优控制之间的深层联系。

7. 与其他工作的联系

7.1 与Neural ODE/ResNet的联系

架构	连续形式	离散形式
ResNet	ODE $\dot{u}=F(u)$	欧拉法
Neural ODE	ODE $\dot{u}=F(u,\theta )$	自适应求解器
Transformer	积分-微分方程	Lie分裂

Transformer的核心区别在于引入了非局部积分算子（注意力机制）。

7.2 与UNet的联系

文献⁴证明了UNet可解释为以下简单微分方程的分裂离散化：

$${\partial }_{t}u=W\ast u+d-\ln \frac{u}{1-u}+\partial I_{\Sigma }(u)$$

Transformer与UNet的统一框架在于：两者都是连续动力系统的离散化。

8. 理论优势与应用

8.1 统一框架

这一视角为理解不同架构（CNN、UNet、Transformer）提供了共同语言——微分方程和积分方程。

8.2 架构设计新方向

基于连续理论，可以系统地探索新架构：

• 稳定性分析：利用数值分析工具研究网络稳定性
• 收敛性保证：证明训练收敛性
• 混合架构：结合不同算子（卷积 + 注意力）

8.3 领域知识嵌入

变分框架允许将领域知识（物理定律、几何结构、守恒原理）原则性地嵌入到网络设计中。

9. ViT扩展

9.1 Vision Transformer

ViT将图像切分为patch，每个patch作为token。在连续框架下：

• 预处理：将图像patch嵌入为初始条件 $f$
• 后处理：最终线性层作为数据后处理

9.2 卷积Transformer

对于结构化数据（图像、视频），可以将积分变换特化为卷积核：

$$W_Q(y,t),W_K(y,t),W_V(y,t)\in {\Omega }_y\times [0,+\infty )$$

这统一了卷积的局部性与注意力的全局性。

10. 总结

组件	连续解释	离散恢复
自注意力	非局部积分算子	Softmax加权求和
层归一化	均值-方差约束投影	标准化层
前馈网络	线性算子 + 非负约束	全连接层 + ReLU
跳跃连接	松弛步骤	残差连接
多头注意力	头维度积分	多头并行

这一框架的核心贡献在于：

1. 统一理论基础：将Transformer纳入微分方程/控制理论的大家族
2. 可解释性增强：每个操作都有清晰的数学含义
3. 设计灵活性：基于连续理论可以构造新的架构变体
4. 跨架构联系：建立CNN、UNet、Transformer的统一视角

参考文献

Footnotes

1. Tai, X. C., Liu, H., Li, L., & Chan, R. H. (2026). A Mathematical Explanation of Transformers. arXiv:2510.03989. https://arxiv.org/abs/2510.03989 ↩

2. Chen, R. T. Q., Rubanova, Y., Bettencourt, J., & Duvenaud, D. (2018). Neural Ordinary Differential Equations. NeurIPS. ↩

3. Haber, E., & Ruthotto, L. (2017). Stable architectures for deep neural networks. Inverse Problems, 34(1). ↩

4. Liu, H., Tai, X. C., Kolev, B., & Chen, J. (2024). A mathematical guide to UNets: operator splitting and continuous models. arXiv. ↩