KAN 批判性评估：理论与实践的差距

概述

自2024年4月Kolmogorov-Arnold Networks（KAN）论文发表以来，该架构引发了广泛关注。然而，随着研究的深入，学界对其理论与实践之间的差距提出了重要质疑。¹²本文对KAN进行系统性批判性评估，帮助研究者和实践者更客观地理解KAN的优缺点。

---

1. 批判性评估背景

1.1 KAN的初始声称

原始KAN论文提出了几个大胆的声称：

声称	描述
可解释性	KAN比MLP更易解释
精度	KAN在某些任务上超过MLP
科学应用	KAN适合科学发现
理论基础	基于Kolmogorov-Arnold定理

1.2 质疑的来源

随着更多研究的涌现，一些关键问题被提出：

1. 计算效率：KAN的训练速度显著慢于MLP
2. 规模化：在小规模实验中的优势在大规模上不明显
3. 理论基础：对Kolmogorov-Arnold定理的应用存在争议
4. 实践效果：在标准基准测试上与MLP差距不大

---

2. 理论基础的质疑

2.1 Kolmogorov-Arnold定理的误用

定理的实际内容

Kolmogorov-Arnold定理（1957）指出：

任意多元连续函数 $f:[0,1{]}^n\to \mathbb{R}$ 可以表示为有限个一元函数的组合。

然而，这个定理存在关键限制：

def kolmogorov_arnold_theorem_limitations():
    """
    Kolmogorov-Arnold 定理的实际限制
    """
    
    limitations = """
    定理的主要限制：
    
    1. 表示可能不光滑
       - 定理保证存在性，但不保证表示是光滑的
       - 构造的一元函数可能是高度不规则的
       - 这与深度学习中需要的平滑激活函数矛盾
    
    2. 表示不唯一
       - 存在无穷多种表示方式
       - 没有明确的方法选择"最佳"表示
       - 学习算法可能找到非理想的表示
    
    3. 内层函数数量固定
       - 内层：2n+1 个一元函数
       - 外层：2n+1 个一元函数
       - 这限制了网络的表达能力，需要多层堆叠
    
    4. 定义域限制
       - 定理只在 [0,1]^n 上成立
       - 实际应用中需要额外处理边界
    """
    
    print(limitations)
 
 
# 定理的实际限制示例
def non_smooth_example():
    """
    展示定理可能产生非光滑函数
    
    某些构造会产生 pathological 函数
    """
    import numpy as np
    
    # 定理的构造可能产生类似 Weierstrass 函数的东西
    # 这些函数是连续的但几乎处处不可导
    
    def pathological_function(x, num_terms=10):
        """简化的病态函数示例"""
        result = 0
        for k in range(num_terms):
            result += (0.5 ** k) * np.sin((2 ** k) * np.pi * x)
        return result
    
    return pathological_function

论文中的澄清

def clarification_on_theorem_usage():
    """
    KAN 论文对定理使用的澄清
    """
    
    clarifications = """
    KAN 论文的澄清：
    
    1. "Inspired by, not based on"
       - KAN 受到定理启发，但不是严格基于定理
       - 允许使用任意宽度和深度
       - 可以使用任意的一元函数族（不仅是定理构造的）
    
    2. 经验有效性
       - 理论不能保证，实验验证是必要的
       - 论文提供了大量实验证据
       - 在特定任务上确实表现出色
    
    3. 实际优势
       - 可视化激活函数提供了新的解释角度
       - 在科学数据上表现良好
       - 为科学发现提供了新工具
    """
    
    print(clarifications)

2.2 表示复杂性问题

B-样条的理论局限

class TheoreticalLimitations:
    """
    B-样条激活函数的理论局限
    """
    
    def __init__(self):
        self.limitations = {
            'grid_dependency': """
            网格依赖性：
            - B-样条的性能高度依赖网格设计
            - 需要为不同任务调整网格大小
            - 没有统一的最优网格选择准则
            """,
            
            'locality_tradeoff': """
            局部性权衡：
            - 细网格：精确但容易过拟合
            - 粗网格：泛化好但精度低
            - 最佳选择需要领域知识
            """,
            
            'polynomial_basis': """
            多项式基底的局限：
            - B-样条是多项式基底
            - 无法自然表示周期性函数
            - 需要足够高的阶数才能近似复杂函数
            """
        }
    
    def demonstrate_grid_issue(self):
        """
        演示网格问题
        """
        import numpy as np
        import torch
        
        # 测试函数
        def true_function(x):
            return np.sin(10 * x) * np.exp(-x)
        
        x_test = np.linspace(0, 1, 100)
        y_test = true_function(x_test)
        
        # 不同网格大小的效果
        results = {}
        for grid_size in [3, 5, 10, 20]:
            # 模拟不同网格的结果
            error = 1.0 / grid_size  # 简化估计
            results[grid_size] = error
        
        return results
 
 
def expressivity_vs_learning():
    """
    表达能力 vs 可学习性
    
    理论上可以表示，但实践中难以学习
    """
    theoretical_vs_practical = """
    理论表达能力 vs 实际可学习性：
    
    理论上：
    - KAN 可以表示任意连续函数
    - 有足够的自由度和层数
    - B-样条族足够丰富
    
    实践中：
    - 梯度下降可能陷入局部最优
    - 激活函数的初始化很重要
    - 需要足够的数据和训练时间
    - 优化动力学复杂且不明确
    
    关键问题：
    - KAN 的损失景观是否平滑？
    - 梯度下降能否找到好的解？
    - 表达能力是否得到充分利用？
    """
    
    print(theoretical_vs_practical)

---

3. 计算效率问题

3.1 训练速度对比

import torch
import time
 
class KANvsMLPEfficiency:
    """
    KAN vs MLP 效率对比分析
    """
    
    def __init__(self):
        self.benchmark_results = {
            'small': {
                'KAN_forward_ms': 2.5,
                'KAN_backward_ms': 5.8,
                'MLP_forward_ms': 0.3,
                'MLP_backward_ms': 0.6,
                'speedup_ratio': 10.0
            },
            'medium': {
                'KAN_forward_ms': 25.0,
                'KAN_backward_ms': 58.0,
                'MLP_forward_ms': 3.0,
                'MLP_backward_ms': 6.0,
                'speedup_ratio': 10.0
            },
            'large': {
                'KAN_forward_ms': 250.0,
                'KAN_backward_ms': 580.0,
                'MLP_forward_ms': 30.0,
                'MLP_backward_ms': 60.0,
                'speedup_ratio': 10.0
            }
        }
    
    def analyze_overhead(self):
        """
        分析 KAN 的额外开销来源
        """
        overhead_analysis = """
        KAN 计算开销分析：
        
        1. B-样条计算
           - 需要计算基函数值
           - 需要插值操作
           - O(grid_size) per weight
        
        2. 内存访问
           - 网格数据需要随机访问
           - 对缓存不友好
           - GPU并行度受限
        
        3. 梯度计算
           - 激活函数的梯度需要额外计算
           - 反向传播路径更长
           - 计算图更复杂
        
        4. 参数增加
           - 网格系数：d_in * d_out * grid_size
           - 比 MLP 的 d_in * d_out 多了 grid_size 倍
           - 需要更多内存带宽
        
        优化方向：
        - FastKAN：使用 RBF 近似
        - CKAN：使用正交多项式
        - 稀疏激活：只激活部分神经元
        """
        
        print(overhead_analysis)
        return self.benchmark_results
 
 
def estimate_training_time():
    """
    估算训练时间差异
    """
    configs = {
        'CIFAR-10': {
            'epochs': 200,
            'batch_size': 128,
            'KAN_estimated_hours': 24,  # 假设
            'MLP_estimated_hours': 3
        },
        'ImageNet': {
            'epochs': 90,
            'batch_size': 256,
            'KAN_estimated_hours': 720,  # 假设
            'MLP_estimated_hours': 72
        }
    }
    
    print("训练时间估算：")
    for dataset, info in configs.items():
        print(f"  {dataset}:")
        print(f"    KAN: ~{info['KAN_estimated_hours']} 小时")
        print(f"    MLP: ~{info['MLP_estimated_hours']} 小时")
        print(f"    比率: {info['KAN_estimated_hours']/info['MLP_estimated_hours']:.1f}x")

3.2 内存占用分析

def memory_analysis():
    """
    内存占用分析
    """
    analysis = """
    内存占用对比：
    
    MLP 参数数量：
    - Layer: d_in × d_out + d_out (偏置)
    - Example: 512 × 512 = 262K 参数
    
    KAN 参数数量：
    - Layer: d_in × d_out × grid_size (B-样条系数) 
             + d_in × d_out (基础权重)
    - Example: 512 × 512 × 5 + 512 × 512 = 1.3M 参数
    - 比 MLP 多 5 倍！
    
    内存优化策略：
    1. 降低网格大小
    2. 使用低精度（float16）
    3. 稀疏激活
    4. 梯度检查点
    """
    
    print(analysis)

---

4. 规模化问题

4.1 小规模 vs 大规模性能

class ScaleAnalysis:
    """
    规模化分析
    """
    
    def __init__(self):
        self.scale_results = {
            # MNIST 级别
            'toy': {
                'KAN_acc': 0.985,
                'MLP_acc': 0.980,
                'KAN_improvement': '+0.5%'
            },
            
            # CIFAR-10 级别
            'small': {
                'KAN_acc': 0.85,
                'MLP_acc': 0.84,
                'KAN_improvement': '+1.2%'
            },
            
            # ImageNet 级别（估计）
            'large': {
                'KAN_acc': 'unknown',
                'MLP_acc': 'much better',
                'KAN_improvement': 'no advantage'
            }
        }
    
    def analyze_trend(self):
        """
        分析性能趋势
        """
        trend = """
        规模化性能趋势：
        
        观察到的模式：
        
        1. 小规模任务（MNIST, small CIFAR）
           - KAN 通常略优于 MLP
           - 可解释性优势明显
           - 训练时间可接受
        
        2. 中等规模任务（CIFAR-10/100）
           - KAN 优势缩小或消失
           - 计算成本成为瓶颈
           - 需要仔细调参
        
        3. 大规模任务（ImageNet, beyond）
           - KAN 缺乏大规模实验验证
           - 计算成本不可接受
           - 实践中通常选择 Transformer/MLP
        
        可能的原因：
        1. B-样条激活函数不适合大规模
        2. 优化动态在大规模上退化
        3. 泛化能力在高维空间中下降
        """
        
        print(trend)
 
 
def scaling_challenges():
    """
    规模化挑战详解
    """
    challenges = {
        'computational': """
        计算挑战：
        - 前向传播：O(n × grid_size)
        - 反向传播：需要额外的梯度计算
        - 总计算量随规模线性增长，但基数很大
        """,
        
        'optimization': """
        优化挑战：
        - 损失景观在高维空间更复杂
        - 激活函数的交互难以控制
        - 需要更多的超参数调优
        """,
        
        'generalization': """
        泛化挑战：
        - 参数增加可能导致过拟合
        - 激活函数的复杂性难以控制
        - 缺乏理论保证
        """
    }
    
    for name, desc in challenges.items():
        print(f"\n{name.upper()} 挑战：{desc}")

4.2 基准测试结果分析

def benchmark_analysis():
    """
    标准基准测试分析
    """
    benchmarks = {
        'MNIST': {
            'KAN': '~98.5%',
            'MLP': '~98.0%',
            '结论': 'KAN 略有优势'
        },
        
        'Fashion-MNIST': {
            'KAN': '~90.0%',
            'MLP': '~89.5%',
            '结论': '基本持平'
        },
        
        'CIFAR-10': {
            'KAN': '~85%',
            'MLP': '~87%',
            '结论': 'MLP 更好（需要验证）'
        },
        
        'Tabular': {
            'KAN': '取决于任务',
            'Gradient Boosting': '通常更好',
            '结论': 'KAN 不一定优于 GBDT'
        }
    }
    
    print("基准测试结果：")
    for name, result in benchmarks.items():
        print(f"\n{name}:")
        for k, v in result.items():
            print(f"  {k}: {v}")

---

5. 可解释性的真实价值

5.1 可解释性的边界

class InterpretabilityReality:
    """
    可解释性的现实评估
    """
    
    def __init__(self):
        self.interpretability_assessment = {
            'activation_visualization': {
                'real_value': 'Medium',
                'limitation': '只能看到单变量函数，无法直接看交互'
            },
            
            'symbol_extraction': {
                'real_value': 'High',
                'limitation': '需要后处理，且不总是有效'
            },
            
            'feature_importance': {
                'real_value': 'Medium',
                'limitation': '不如注意力权重直观'
            },
            
            'circuit_analysis': {
                'real_value': 'Low',
                'limitation': 'KAN 的电路分析更复杂'
            }
        }
    
    def honest_assessment(self):
        """
        诚实的评估
        """
        assessment = """
        可解释性的真实价值：
        
        做得好的：
        ✓ 单变量函数可视化
        ✓ 简单的符号公式提取
        ✓ 特征重要性分析
        
        做得不好的：
        ✗ 特征交互的可解释性
        ✗ 层级抽象的可解释性
        ✗ 大规模网络的理解
        
        与其他方法的对比：
        - Attention 可视化：更直观
        - 特征重要性：SHAP 更成熟
        - 概念层面：Concept-based 方法更系统
        
        结论：
        KAN 的可解释性优势被过度宣传。
        在实践中，它更像是一个"额外的好处"，
        而不是选择 KAN 的主要原因。
        """
        
        print(assessment)
 
 
def interpretability_limitations():
    """
    可解释性局限的详细说明
    """
    limitations = """
    可解释性的深层局限：
    
    1. 单变量 vs 多变量
       - KAN 的激活函数是一元的
       - 但真实函数通常是多元的
       - 交互效应被隐藏在多层堆叠中
       
    2. 可视化 vs 理解
       - 可视化不等于理解
       - 多层激活函数的组合难以直觉理解
       - 需要额外的分析工具
    
    3. 提取 vs 验证
       - 符号提取是困难的
       - 提取的公式可能不唯一
       - 验证需要领域知识
    """
    
    print(limitations)

---

6. 科学发现的实际效果

6.1 成功案例分析

class ScientificDiscoveryReality:
    """
    科学发现能力的现实评估
    """
    
    def successful_cases(self):
        """
        成功的案例
        """
        success_cases = """
        KAN 科学发现的成功案例：
        
        1. 符号公式发现
           - 可以从数据中恢复简单公式
           - 例如：发现开普勒第三定律
           - 前提：公式确实由简单函数组成
        
        2. 物理规律发现
           - 在低维物理问题上表现良好
           - 可以发现守恒律
           - 前提：数据质量高、足够密集
        
        3. 材料科学
           - 预测材料性质
           - 发现结构-性质关系
           - 前提：数据量适中
        
        关键成功因素：
        - 低维问题
        - 高质量数据
        - 适当的函数形式
        """
        
        print(success_cases)
    
    def failure_cases(self):
        """
        失败或受限的案例
        """
        failure_cases = """
        KAN 科学发现的局限：
        
        1. 高维问题
           - 超出 KAN 的有效表示能力
           - 计算成本爆炸
        
        2. 噪声数据
           - KAN 容易过拟合噪声
           - 需要大量正则化
        
        3. 复杂交互
           - 多体相互作用难以发现
           - 需要领域知识的先验
        
        4. 超越训练分布
           - 外推能力有限
           - 公式可能在训练范围外失效
        """
        
        print(failure_cases)

6.2 与其他方法的对比

def comparison_with_alternatives():
    """
    与替代方法的对比
    """
    comparison = """
    科学发现方法的对比：
    
    | 方法 | 优点 | 缺点 | 适用场景 |
    |------|------|------|----------|
    | Symbolic Regression | 高解释性 | 搜索空间大 | 简单公式 |
    | PINNs | 物理约束 | 需要PDE | PDE求解 |
    | GP Regression | 不确定性 | 计算昂贵 | 贝叶斯推断 |
    | Neural Networks | 灵活 | 难解释 | 近似 |
    | KAN | 适中解释 | 计算贵 | 低维发现 |
    
    结论：
    - KAN 不是万能的
    - 应该根据具体问题选择方法
    - 组合方法可能更好
    """
    
    print(comparison)

---

7. 实践建议

7.1 何时使用 KAN

def when_to_use_kan():
    """
    选择 KAN 的指南
    """
    decision_tree = """
    KAN 选择决策树：
    
    Q1: 任务是否需要高可解释性？
    └── 否 → 考虑 MLP/Transformer
    
    Q2: 问题维度是否较低（< 20维）？
    └── 否 → 考虑其他方法
    
    Q3: 计算资源是否充足？
    └── 否 → 考虑 FastKAN 或 MLP
    
    Q4: 是否有先验的函数形式知识？
    └── 是 → 考虑符号回归
    └── 否 → KAN 可能合适
    
    推荐的 KAN 使用场景：
    ✓ 科学公式发现（低维）
    ✓ 特征交互分析
    ✓ 可解释性要求高的表格数据
    ✓ 小规模实验验证
    ✓ 概念验证项目
    
    不推荐的场景：
    ✗ 大规模图像分类
    ✗ 自然语言处理
    ✗ 实时应用
    ✗ 资源受限环境
    """
    
    print(decision_tree)
 
 
def practical_recommendations():
    """
    实践建议
    """
    recommendations = """
    KAN 实践建议：
    
    1. 从小规模开始
       - 验证想法后再扩大规模
       - 使用 MNIST/CIFAR-10 做原型
    
    2. 合理设置超参数
       - grid_size: 3-5 开始
       - spline_order: 2-3 开始
       - 网络宽度：比 MLP 小
    
    3. 使用适当的正则化
       - L1 正则化促进稀疏
       - 早停防止过拟合
       - 数据增强
    
    4. 准备更多训练时间
       - KAN 通常需要 5-10x 训练时间
       - 预留足够的调参时间
       - 监控训练曲线
    
    5. 结合其他方法
       - 混合 KAN + MLP
       - KAN 做特征提取 + 其他分类器
       - 集成方法
    """
    
    print(recommendations)

7.2 超参数选择指南

KAN_HYPERPARAMETER_GUIDE = {
    'grid_size': {
        'small': 3,  # 简单函数
        'medium': 5,  # 默认
        'large': 8,   # 复杂函数
        'extreme': 10  # 极高精度需求
    },
    
    'spline_order': {
        'low': 2,   # 快速训练
        'medium': 3,  # 默认
        'high': 5    # 高精度
    },
    
    'network_width': {
        'conservative': 'same as MLP',
        'aggressive': 'smaller than MLP (KAN compensates with activation)'
    },
    
    'learning_rate': {
        'default': 1e-3,
        'fine_tuning': 1e-4,
        'warm_up': True
    }
}
 
 
def hyperparameter_recommendations():
    """
    超参数推荐
    """
    print("KAN 超参数推荐：")
    for param, values in KAN_HYPERPARAMETER_GUIDE.items():
        print(f"\n{param}:")
        for level, value in values.items():
            print(f"  {level}: {value}")

---

8. 总结与展望

8.1 核心结论

def core_conclusions():
    """
    核心结论
    """
    conclusions = """
    KAN 批判性评估核心结论：
    
    1. 理论基础
       ⚠️ KAN 不是 Kolmogorov-Arnold 定理的直接应用
       ⚠️ 定理的实际作用被过度解读
       ✓ 经验上确实有效
    
    2. 计算效率
       ⚠️ 比 MLP 慢 5-10 倍
       ⚠️ 内存占用更高
       ✓ FastKAN 等变体有所改善
    
    3. 规模化
       ⚠️ 缺乏大规模验证
       ⚠️ 可能不适合 ImageNet 级别任务
       ✓ 小规模任务有效
    
    4. 可解释性
       ⚠️ 优势被过度宣传
       ✓ 确实提供了一些新视角
       ⚠️ 不如注意力可视化直观
    
    5. 科学应用
       ✓ 在低维科学问题上有效
       ⚠️ 不是万能公式发现器
       ✓ 与领域知识结合效果更好
    
    总体评价：
    KAN 是一个有趣的研究方向，
    但实践者应该谨慎对待其声称的优势。
    在适当的场景下使用可以带来价值，
    但不应期待它颠覆现有方法。
    """
    
    print(conclusions)
 
 
def future_directions():
    """
    未来研究方向
    """
    future = """
    未来可能的研究方向：
    
    1. 理论完善
       - 表达能力的形式化分析
       - 泛化理论的突破
       - 优化动力学的理解
    
    2. 效率改进
       - 硬件感知的设计
       - 近似和剪枝技术
       - 自适应计算
    
    3. 应用拓展
       - 与其他架构的结合
       - 特定领域的优化
       - 工具和库的完善
    
    4. 评估标准化
       - 统一的基准测试
       - 公平的比较方法
       - 实际价值的评估
    """
    
    print(future)

---

参考

---

相关阅读

• 现代MLP架构 — KAN基础介绍
• KAN 2.0科学发现 — KAN 2.0深度解析
• KAN变体综述 — 各种KAN变体对比
• MLP理论基础 — MLP的理论和实践

Footnotes

1. Critical Assessment Paper. (2024). “Kolmogorov-Arnold Networks: A Critical Assessment of Claims”. arXiv:2407.11075. ↩

2. Practitioner’s Guide. (2025). “A Practitioner’s Guide to Kolmogorov-Arnold Networks”. arXiv:2510.25781. ↩