脉冲神经网络(SNN)专题
脉冲神经网络(Spiking Neural Network, SNN)是第三代神经网络,也是目前最接近生物神经系统的神经网络模型。与传统的人工神经网络(ANN)不同,SNN使用离散的脉冲序列进行信息传递,具有时间动力学特性。1
专题导航
基础理论
训练与优化
- SNN训练方法 — ANN-SNN转换、直接训练、STDP
- ANN-SNN转换最新进展 — Scale-and-Fire、单步推理
网络架构
- SNN架构 — 卷积SNN、循环SNN、标准SNN-Transformer
- Spiking Transformer 2025-2026 — WTA、LSFormer、Matterhorn最新架构
应用场景
- SNN应用 — 事件相机、语音识别、边缘部署
核心概念速查
神经元模型对比
| 模型 | 复杂度 | 精度 | 应用场景 |
|---|---|---|---|
| IF | ⭐ | 低 | 理论分析 |
| LIF | ⭐⭐ | 中 | 主流应用 |
| HH | ⭐⭐⭐⭐ | 高 | 生物模拟 |
| Izhikevich | ⭐⭐⭐ | 高 | 效率平衡 |
关键公式
LIF神经元动力学:
脉冲发放条件:
代理梯度(arctan函数):
学习路径建议
入门路线
-
SNN基础理论 (必读)
- 理解脉冲神经元的工作原理
- 掌握IF、LIF模型
- 了解编码方式
-
代理梯度学习 (必读)
- 理解SNN的反向传播问题
- 掌握代理梯度方法原理
-
SNN训练方法 (进阶)
- 对比ANN-SNN转换与直接训练
进阶路线
研究路线
- 探索神经形态硬件协同设计
- 研究SNN的能效优化
- 发展新的训练算法
论文推荐
必读经典
| 论文 | 年份 | 核心贡献 |
|---|---|---|
| Neftci et al. - Surrogate Gradient Learning | 2019 | 代理梯度方法奠基 |
| Wu et al. - Direct Training for SNN | 2018 | 直接训练框架 |
| Davies et al. - Loihi Neuromorphic Chip | 2018 | 神经形态硬件 |
| Pfeiffer & Pfeil - Deep Learning with SNN | 2018 | 深度SNN综述 |
前沿进展(2025-2026)
| 论文 | 会议/期刊 | 核心贡献 |
|---|---|---|
| WTA Spiking Transformer | arXiv 2026 | 首个无softmax的SNN-NLP |
| LSFormer | arXiv 2026 | 局部结构感知的视觉模型 |
| Matterhorn | arXiv 2026 | 模拟硬件优化架构 |
| SFN SNN | arXiv 2025 | T=1单步推理88.8%准确率 |
| OUE Conversion | ICLR 2026 | 最优不均匀消除转换 |
| Spiking Expression Theory | arXiv 2025 | 表达能力与有效维度理论 |
工具与库
| 库 | 语言 | 特点 |
|---|---|---|
| snnTorch | Python/PyTorch | 最流行的SNN库 |
| Norse | Python/PyTorch | 专注于深度SNN |
| Brian2 | Python | 神经科学仿真 |
| SpyTorch | PyTorch | 教程导向 |
| Rockpool | Python | 多后端支持 |
数据集
| 数据集 | 类型 | 特点 |
|---|---|---|
| CIFAR10-DVS | 图像分类 | 事件相机版本 |
| DVS Gesture | 手势识别 | IBM/DVS相机采集 |
| N-MNIST | 图像分类 | 动态视觉传感器 |
| SHD | 语音识别 | 听觉脉冲数据集 |
与其他主题的链接
相关主题
应用领域
开放问题与研究方向
- 训练效率:如何在大规模数据集上高效训练深度SNN?
- 表示能力:SNN的表示能力理论上界在哪里?
- 硬件协同:如何设计专门针对SNN的神经形态芯片?
- 学习规则:Hebbian学习与反向传播的结合
参考
Footnotes
-
Neftci, E. O., Mostafa, H., & Zenke, F. (2019). Surrogate Gradient Learning in Spiking Neural Networks. IEEE Signal Processing Magazine. ↩