PINNs 的 Neural Tangent Kernel 分析

1. 引言

Neural Tangent Kernel (NTK) 理论为理解深度学习训练动态提供了强大的分析工具¹。当将其应用于Physics-Informed Neural Networks (PINNs) 时，可以深入理解物理约束如何影响学习过程，并解释PINNs何时会成功或失败²。

---

2. NTK理论基础回顾

2.1 无限宽度极限

考虑一个前馈神经网络：

$$f(\mathbf{x};\mathbf{\theta })=W_L\sigma (W_{L-1}\sigma (\cdots \sigma (W_1\mathbf{x})))$$

其中 $\sigma$ 为激活函数，$\mathbf{\theta }=\{W_1,\dots ,W_L\}$。

无限宽度假设：每一层的宽度 $n_l\to \infty$。

2.2 NTK定义

Neural Tangent Kernel定义为：

$${\Theta }_{{\mathbf{\theta }}^{(0)}}(\mathbf{x},{\mathbf{x}}^{\prime })=⟨\frac{\partial f(\mathbf{x};\mathbf{\theta })}{\partial \mathbf{\theta }},\frac{\partial f({\mathbf{x}}^{\prime };\mathbf{\theta })}{\partial \mathbf{\theta }}⟩$$

在无限宽度极限下，NTK趋向于确定核 ${\Theta }^{inf}$，且在训练过程中保持不变。

2.3 训练动态

在梯度下降下：

$$\frac{d\theta }{dt}=-\eta {\nabla }_{\theta }\mathcal{L}$$

网络输出的演化满足：

$$\frac{\partial f(\mathbf{x};\theta (t))}{\partial t}=-\eta \int {\Theta }^{inf}(\mathbf{x},{\mathbf{x}}^{\prime })\frac{\partial \mathcal{L}}{\partial f({\mathbf{x}}^{\prime })}d{\mathbf{x}}^{\prime }$$

---

3. PINNs的NTK

3.1 PINNs的损失函数

PINNs的损失函数包括多个项：

$${\mathcal{L}}_{PINN}={\mathcal{L}}_{data}+{\lambda }_{pde}{\mathcal{L}}_{pde}+{\lambda }_{bc}{\mathcal{L}}_{bc}+{\lambda }_{ic}{\mathcal{L}}_{ic}$$

3.2 PINNs的NTK推导

定义PINNs的NTK为：

$${\Theta }_{PINN}(\mathbf{x},{\mathbf{x}}^{\prime })={\Theta }_{data}(\mathbf{x},{\mathbf{x}}^{\prime })+{\lambda }_{pde}{\Theta }_{pde}(\mathbf{x},{\mathbf{x}}^{\prime })+\cdots$$

定理 (PINNs的NTK)²：设 ${\Theta }_{\infty }^{PINN}$ 为无限宽度极限下的PINNs-NTK，则：

$${\Theta }_{\infty }^{PINN}={\Theta }_{\infty }^{data}+{\lambda }_{pde}{\Theta }_{\infty }^{pde}+{\lambda }_{bc}{\Theta }_{\infty }^{bc}+{\lambda }_{ic}{\Theta }_{\infty }^{ic}$$

3.3 PDE-NTK的显式形式

对于PDE约束项：

$${\Theta }_{\infty }^{pde}((x,t),(x^{\prime },t^{\prime }))={\mathbb{E}}_{\mathbf{\theta }}\left[\frac{\partial \mathcal{N}[f(\cdot ;\mathbf{\theta })](x,t)}{\partial \mathbf{\theta }}\cdot \frac{\partial \mathcal{N}[f(\cdot ;\mathbf{\theta })](x^{\prime },t^{\prime })}{\partial \mathbf{\theta }}\right]$$

其中 $\mathcal{N}[\cdot ]$ 是PDE算子。

特例：对于线性PDE $\mathcal{N}[u]=u_t-\mathcal{L}u$：

$${\Theta }_{\infty }^{pde}=\frac{\partial {\Theta }_{\infty }^{data}}{\partial t}-\mathcal{L}{\Theta }_{\infty }^{data}$$

---

4. 训练动态分析

4.1 收敛条件

定理：在无限宽度极限下，PINNs收敛当且仅当PINNs-NTK正定。

即：所有特征值 ${\lambda }_i({\Theta }_{\infty }^{PINN})>0$。

4.2 收敛速率

对于再生核Hilbert空间 (RKHS) 中的函数 $f^{\ast }$，收敛速率满足：

$$\Vert f_t-f^{\ast }{\Vert }_{L^2}^2\le \Vert f_0-f^{\ast }{\Vert }_{RKHS}^2\sum _i\frac{e^{-2\eta {\lambda }_{i}t}}{{\lambda }_i}$$

4.3 条件数分析

PINNs-NTK的条件数：

$$\kappa ({\Theta }_{\infty }^{PINN})=\frac{{\lambda }_{max}}{{\lambda }_{min}}$$

观察：

• $\kappa$ 过大 → 收敛慢、训练不稳定
• ${\lambda }_{pde}$ 的选择影响条件数

---

5. PINNs失败的诊断

5.1 谱分析

def analyze_pinn_ntk(model, domain):
    """
    分析PINNs-NTK的谱性质
    """
    # 收集网络雅可比
    J = compute_jacobian(model, domain)
    
    # 计算NTK
    K = J @ J.T
    
    # 特征值分解
    eigenvalues = torch.linalg.eigvalsh(K)
    
    # 分析
    cond_num = eigenvalues[-1] / (eigenvalues[0] + 1e-10)
    min_eig = eigenvalues[0]
    
    print(f"条件数: {cond_num:.2f}")
    print(f"最小特征值: {min_eig:.2e}")
    
    return eigenvalues

5.2 失效模式

模式1：特征值消失

当 ${\lambda }_{min}\to 0$ 时，PINNs-NTK接近奇异，某些函数分量无法学习。

原因：

• PDE算子 $\mathcal{N}$ 的核与数据分布不兼容
• 边界条件过约束

模式2：特征值退化

某些特征值相对于其他极小：

$${\lambda }_1\gg {\lambda }_2\approx \cdots \approx {\lambda }_N\approx 0$$

影响：训练集中在主特征方向，其他方向欠拟合。

模式3：谱峰位置不利

有效特征向量对应的函数与目标解 $f^{\ast }$ 正交或接近正交。

5.3 诊断标准

诊断指标	健康范围	预警阈值
条件数 $\kappa$	$<10^3$	$>10^5$
最小特征值 ${\lambda }_{min}$	$>10^{-4}$	$<10^{-6}$
有效秩 $\frac{(\sum \lambda {)}^2}{\sum {\lambda }^2}$	$>0.5$	$<0.1$

---

6. NTK视角的改进策略

6.1 条件数改善

方法1：谱归一化

对NTK进行归一化：

$$\tilde{\Theta }=\frac{\Theta }{\sqrt{{\Theta }_{ii}\cdot {\Theta }_{jj}}}$$

方法2：特征值重加权

放大小的特征值：

$${\tilde{\lambda }}_i={\lambda }_i+\alpha \cdot \text{Var}(\lambda )$$

6.2 网络架构设计

定理：选择激活函数使得NTK的条件数最小。

常见激活函数的NTK条件数比较：

激活函数	典型条件数	备注
Tanh	$10^2-10^4$	平滑但可能病态
ReLU	$\infty$	核奇异
GELU	$10^2-10^3$	较好的谱性质
Sin	变化大	适合周期问题

6.3 物理感知采样

基于NTK分析的自适应采样：

def ntk_informed_sampling(model, domain, n_samples, alpha=1.0):
    """
    基于NTK的自适应采样
    """
    # 计算NTK对角元素（梯度的方差）
    x_rand = torch.rand(1000, domain.dim) * domain.size
    
    variances = []
    for x in x_rand:
        grad = torch.autograd.grad(model(x.unsqueeze(0)), 
                                  model.parameters(),
                                  create_graph=True)
        var = sum(g.norm()**2 for g in grad)
        variances.append(var)
    
    variances = torch.tensor(variances)
    
    # 采样：优先高方差区域
    probs = (variances / variances.sum()) ** alpha
    indices = torch.multinomial(probs, n_samples)
    
    return x_rand[indices]

6.4 正则化与NTK

L2正则化（权重衰减）对NTK的影响：

$${\Theta }_{reg}=\Theta +\lambda I$$

这等价于调整最小特征值：

$${\tilde{\lambda }}_{min}={\lambda }_{min}+\lambda$$

---

7. 与经典核方法的联系

7.1 NTK作为广义核

PINNs-NTK可视为结合了物理先验的广义核：

$$K_{physics}(\mathbf{x},{\mathbf{x}}^{\prime })=⟨\mathcal{N}[\varphi (\mathbf{x})],\mathcal{N}[\varphi ({\mathbf{x}}^{\prime })]⟩$$

其中 $\varphi$ 是特征映射。

7.2 谱核与PINNs-NTK

定理（谱分解）：PINNs-NTK可分解为：

$${\Theta }_{\infty }^{PINN}=\sum _i{\lambda }_i{\psi }_i\otimes {\psi }_i$$

其中 $\{{\psi }_i\}$ 是特征函数，$\{{\lambda }_i\}$ 是对应特征值。

7.3 与RBF核的比较

特性	RBF核	PINNs-NTK
谱衰减	指数衰减	依赖PDE
物理约束	无	内嵌
适应性	固定	可学习
计算成本	$O(N^2)$	$O(N^2)$

---

8. 有限宽度效应

8.1 有限宽度修正

实际网络（有限宽度）的NTK随训练动态演化：

$$\Theta (t)={\Theta }^{(0)}+O(1/\text{width})$$

8.2 超越NTK regime

对于足够宽的网络，NTK理论准确预测训练动态。对于中等宽度网络，需要考虑：

• 特征学习
• 超参数依赖
• 隐式正则化

8.3 实践建议

1. 网络宽度：使用足够宽的网络（>128 hidden units）
2. 学习率：与NTK谱匹配（小特征值 → 小学习率）
3. 批量大小：影响NTK估计方差

---

9. 案例分析：Heat Equation

9.1 问题设置

热方程：$u_t=\Delta u$，$u(x,0)=u_0(x)$

9.2 NTK分析

# 热方程的PINNs-NTK分析
def heat_equation_ntk_analysis():
    """
    热方程PINNs-NTK谱分析
    """
    # 理论特征值（对于Dirichlet边界）
    lambda_k = (k * np.pi) ** 2, k = 1, 2, ...
    
    # 条件数
    kappa = lambda_k[-1] / lambda_k[0]  # 随K增大
    
    print(f"热方程特征值: {lambda_k[:5]}")
    print(f"条件数(前5个模式): {kappa}")
    
    return lambda_k

9.3 收敛性预测

基于NTK分析：

• 低频模式（小k）：快速收敛，${\lambda }_k\propto k^2$
• 高频模式（大k）：慢速收敛，可能欠拟合
• 条件数：$\kappa \to \infty$（高频模式主导）

---

10. 参考文献

---

相关主题

• PINNs基础理论
• PINNs训练挑战与解决方案
• NTK理论深度解析
• 神经算子理论

Footnotes

1. Jacot, A., et al. (2018). Neural Tangent Kernel: Convergence and Generalization in Neural Networks. NeurIPS 2018. ↩

2. Wang, S., et al. (2022). When and why PINNs fail to train: A neural tangent kernel perspective. Journal of Computational Physics, 449, 110768. ↩ ↩²