注意力作为核方法：Nadaraya-Watson视角

概述

注意力机制是现代深度学习的核心组件，但其理论根基长期缺乏清晰的形式化理解。近年来，研究者发现标准Softmax注意力与核回归方法有着深刻的数学联系。¹²

本文从Nadaraya-Watson核回归的视角出发，建立注意力机制的统一理论框架，揭示：

• Softmax本质上是高斯核的归一化形式
• 注意力输出是Query关于Key-Value对的加权平均
• 核方法理论为注意力设计提供原则性指导

---

Nadaraya-Watson核回归

经典核回归

Nadaraya-Watson估计器（1964）是回归分析中最经典的非参数方法之一。给定观测数据 $\{(x_i,y_i){\}}_{i=1}^n$，预测新点 $x$ 的值：

$$\hat{f}(x)=\frac{{\sum }_{i=1}^{n}K(x,x_i)y_i}{{\sum }_{i=1}^{n}K(x,x_i)}$$

其中 $K(\cdot ,\cdot )$ 是核函数，满足：

• 非负性：$K(x,y)\ge 0$
• 对称性：$K(x,y)=K(y,x)$
• 归一化：$\int K(x,y)dx=1$

高斯核的特殊地位

高斯核（RBF核）是最常用的核函数：

$$K_{\sigma }(x,y)=\exp \left(-\frac{\Vert x-y{\Vert }^2}{2{\sigma }^2}\right)$$

关键性质：

1. 平移不变性：仅依赖距离 $\Vert x-y\Vert$
2. 无限光滑：任意阶导数存在
3. 正定性：诱导RKHS是完备的

---

Softmax注意力与核回归的对应

标准注意力机制

考虑Scaled Dot-Product Attention：

$$\text{Attention}(Q,K,V)=\text{softmax}\left(\frac{Q{K}^T}{\sqrt{d_k}}\right)V$$

展开为元素形式，对于第 $i$ 个Query：

$$[\text{Attention}(Q,K,V){]}_i=\frac{{\sum }_{j=1}^n\exp \left(\frac{q_i\cdot k_j}{\sqrt{d_k}}\right)v_j}{{\sum }_{j=1}^n\exp \left(\frac{q_i\cdot k_j}{\sqrt{d_k}}\right)}$$

形式化对应

令 $q_i,k_j,v_j$ 分别表示Query、Key、Value向量。令 $\sigma =\sqrt{d_k/2}$，则：

$$\exp \left(\frac{q_i\cdot k_j}{\sqrt{d_k}}\right)=\exp \left(-\frac{\Vert q_i-k_j{\Vert }^2}{2{\sigma }^2}\right)\cdot C_i\cdot C_j^{\prime }$$

其中常数 $C_i,C_j^{\prime }$ 与 $j$ 或 $i$ 无关。

核心结论：Softmax注意力精确等于高斯核Nadaraya-Watson回归！

$$[\text{Attention}(Q,K,V){]}_i=\text{NW}(q_i;\{(k_j,v_j){\}}_{j=1}^n)$$

温度参数的几何意义

引入温度参数 $\tau$：

$${\text{Attention}}_{\tau }(Q,K,V)=\text{softmax}\left(\frac{Q{K}^T}{\tau }\right)V$$

温度 $\tau$ 与高斯核标准差 $\sigma$ 的关系：

$$\sigma =\sqrt{\frac{\tau }{2}}$$

• 小 $\tau$（小 $\sigma$）：尖峰核 → 稀疏注意力
• 大 $\tau$（大 $\sigma$）：平坦核 → 均匀注意力

---

理论分析

表示能力

定理1（表达能力完备性）：

对于任意连续函数 $f:{\mathbb{R}}^d\to {\mathbb{R}}^m$ 和任意 $ϵ>0$，存在注意力参数使得：

$$\Vert \text{Attention}(Q,K,V)-f(X)\Vert <ϵ$$

在温和的正则性条件下成立。²

收敛速率

定理2（收敛速率）：

设真实函数 $f$ 属于Hölder类 $\Sigma (\alpha ,L)$，则Nadaraya-Watson估计器的收敛速率为：

$$\mathbb{E}[|\hat{f}(x)-f(x){|}^2]=O(n^{-\frac{2\alpha }{2\alpha +d}})$$

其中 $d$ 是输入维数，$n$ 是样本数。

与神经网络的关系

核 Regime vs 特征学习 Regime：

当使用固定的Query-Key映射时，注意力在核Regime中工作；
当Query-Key映射可学习时，注意力进入特征学习Regime，表达能力显著提升。³

---

与Neural Tangent Kernel的联系

NTK视角

Neural Tangent Kernel (NTK) 描述神经网络在无穷宽度极限下的梯度下降动态。

对于两层注意力网络，其NTK为：

$$\Theta (x,x^{\prime })={\kappa }_{vv}(x,x^{\prime })+{\kappa }_{vk}(x,x^{\prime })\cdot {\kappa }_{qk}(x,x^{\prime })$$

其中 ${\kappa }_{vv},{\kappa }_{vk},{\kappa }_{qk}$ 是各种核函数。³

统一框架

视角	核心思想	数学工具
Nadaraya-Watson	核加权平均	核密度估计
NTK	梯度核函数	函数空间分析
最优传输	概率耦合	几何优化

---

实践应用

自适应核设计

基于上述理论，可以设计任务自适应的核函数：

import torch
import torch.nn.functional as F
import math
 
class AdaptiveKernelAttention(torch.nn.Module):
    """
    基于核方法理论的自适应注意力
    
    核函数形式: K(q, k) = exp(- ||q - k||^2 / (2 * sigma^2))
    温度sigma根据上下文自适应调整
    """
    def __init__(self, d_model, learn_sigma=True, sigma_init=1.0):
        super().__init__()
        if learn_sigma:
            # 可学习的温度参数
            self.log_sigma = torch.nn.Parameter(torch.log(torch.tensor(sigma_init)))
        else:
            self.register_buffer('log_sigma', torch.log(torch.tensor(sigma_init)))
    
    def gaussian_kernel(self, q, k):
        """计算高斯核矩阵"""
        sigma = torch.exp(self.log_sigma)
        # ||q - k||^2 = ||q||^2 + ||k||^2 - 2 q^T k
        q_norm = torch.sum(q ** 2, dim=-1, keepdim=True)
        k_norm = torch.sum(k ** 2, dim=-1, keepdim=True)
        pairwise_dist = q_norm + k_norm.transpose(-2, -1) - 2 * torch.matmul(q, k.transpose(-2, -1))
        return torch.exp(-pairwise_dist / (2 * sigma ** 2 + 1e-8))
    
    def forward(self, q, k, v, mask=None):
        # 归一化
        q = q / (q.norm(dim=-1, keepdim=True) + 1e-8)
        k = k / (k.norm(dim=-1, keepdim=True) + 1e-8)
        
        # 计算高斯核注意力
        kernel = self.gaussian_kernel(q, k)
        
        if mask is not None:
            kernel = kernel.masked_fill(mask == 0, 0)
        
        # Nadaraya-Watson加权平均
        weights = kernel / (kernel.sum(dim=-1, keepdim=True) + 1e-8)
        return torch.matmul(weights, v)

带宽选择

核方法中的带宽选择对应注意力中的温度调度：

class DynamicTemperatureScheduler:
    """
    动态温度调度器
    
    策略：
    - 训练初期：大温度（探索）
    - 训练后期：小温度（利用）
    - 推理时：根据任务自适应
    """
    def __init__(self, T_init=1.0, T_final=0.1, schedule='cosine'):
        self.T_init = T_init
        self.T_final = T_final
        self.schedule = schedule
    
    def get_temperature(self, step, total_steps):
        if self.schedule == 'linear':
            ratio = step / total_steps
            return self.T_init - ratio * (self.T_init - self.T_final)
        elif self.schedule == 'cosine':
            ratio = step / total_steps
            return self.T_final + 0.5 * (self.T_init - self.T_final) * (1 + math.cos(math.pi * ratio))
        else:
            return self.T_init

稀疏注意力设计

基于核方法的截断策略：

def sparse_kernel_attention(q, k, v, k_top=32):
    """
    基于核方法的稀疏注意力
    
    思想：保留高斯核值最大的k个键值对
    等价于软稀疏化Nadaraya-Watson估计
    """
    d = q.shape[-1]
    sigma = math.sqrt(d / 2)  # 标准温度
    
    # 计算核值
    kernel_vals = torch.matmul(q, k.transpose(-2, -1)) / sigma
    kernel_vals = torch.exp(kernel_vals - kernel_vals.max(dim=-1, keepdim=True)[0])
    
    # Top-k选择
    topk_vals, topk_indices = torch.topk(kernel_vals, k_top, dim=-1)
    
    # 重新归一化
    topk_vals = topk_vals / topk_vals.sum(dim=-1, keepdim=True)
    
    # 聚合
    batch_size = q.shape[0]
    seq_len = q.shape[1]
    d_v = v.shape[-1]
    
    output = torch.zeros(batch_size, seq_len, d_v, device=q.device, dtype=q.dtype)
    output.scatter_add_(dim=2, index=topk_indices.unsqueeze(-1).expand(-1, -1, d_v), 
                        src=topk_vals.unsqueeze(-1).expand(-1, -1, d_v) * v)
    
    return output

---

与其他理论视角的联系

与最优传输的联系

注意力作为核方法与作为最优传输的视角互补：

• 核方法视角：关注局部性——Query关注哪些相似的Key
• 最优传输视角：关注全局分配——Query-Key的全局最优匹配

两种视角统一于更一般的正则化耦合框架。⁴

与信息瓶颈的联系

注意力熵可以作为信息瓶颈目标的组成部分：

$${\mathcal{L}}_{\text{IB}}=I(Q;K)-\beta \cdot H(A)$$

其中 $H(A)$ 是注意力分布的熵，$\beta$ 控制压缩程度。

---

参考资料

---

相关文档

• 注意力与最优传输理论
• NTK理论深度解析
• 注意力温度与熵理论
• RKHS与核方法理论

Footnotes

1. [arXiv:2601.22766] “On the Theory of Attention” - 系统性建立了注意力与核方法的理论联系 ↩

2. [arXiv:2106.01506] “Kernel and Deep Learning: A Theoretic Fuse” - 核方法与深度学习的统一框架 ↩ ↩²

3. [arXiv:2006.10540] “Neural Tangent Kernel and Attention” - NTK视角下的注意力分析 ↩ ↩²

4. [arXiv:2508.08369] “Attention as Optimal Transport” - 最优传输视角的注意力理论 ↩