连续神经网络专题索引

目录

• 专题介绍
• 内容导航
  • 隐式神经表示（INR）系列
  • SIREN正弦激活网络
  • NeRF神经辐射场
  • 神经常微分方程（Neural ODE）
  • 液态神经网络（LNN）
• 学习路径建议
• 核心公式速查
• 工具与库推荐
• 论文推荐
• 相关领域链接

专题介绍

什么是连续神经网络

连续神经网络（Continuous Neural Networks）是一类将神经网络视为连续函数表示的模型范式。与传统离散层堆叠的神经网络不同，连续神经网络的核心思想是：

1. 函数即网络：将整个网络看作从输入到输出的连续函数映射
2. 坐标感知：通过坐标输入直接查询连续空间中的信号值
3. 连续性先验：利用连续性假设建模自然信号（图像、声音、3D场景等）

这种范式与以下领域密切相关：

核心优势

连续神经网络相比传统离散表示具有以下优势：

• 分辨率无关：可表示任意分辨率的信号，不受网格限制
• 紧凑表示：参数数量与信号分辨率无关
• 自然可微：查询过程天然可微，便于端到端优化
• 拓扑灵活：可以表示任意拓扑结构的信号

内容导航

隐式神经表示（INR）系列

隐式神经表示（Implicit Neural Representations, INR）是连续神经网络的基础范式。它将信号表示为神经网络权重，通过坐标输入查询连续空间中的信号值。

核心资源：

• 隐式神经表示详解：INR的基础理论、优势对比、应用场景

核心思想：

将离散信号 $I(x,y)$ 表示为连续函数 $f_{\theta }:{\mathbb{R}}^2\to {\mathbb{R}}^C$，其中 $\theta$ 是网络参数。

SIREN正弦激活网络

SIREN（SInusoidal REpresentation Networks）是隐式表示领域的重要突破，引入了周期激活函数来增强网络表示高频信号的能力。

核心资源：

• SIREN网络详解：正弦激活的理论基础、梯度特性、代码实现

关键洞察：

标准ReLU激活无法精确表示梯度信息，而SIREN的正弦激活满足：

这使得网络能够精确地建模导数关系，非常适合需要物理约束的任务。

NeRF神经辐射场

NeRF（Neural Radiance Fields）是将隐式表示应用于3D场景重建的里程碑工作。它使用神经网络从多视角图像中学习3D场景的连续表示。

核心概念：

• ** volumetric rendering**：通过体积渲染从隐式表示生成图像
• 位置编码：对输入坐标使用高频编码增强表达能力
• 射线行进：沿相机射线采样积分得到像素颜色

关键公式：

沿射线 $r(t)=o+td$ 的颜色积分为：

其中 $T(t)=\exp \left(-{\int }_{t_n}^t\sigma (\mathbf{r}(s))ds\right)$ 是透射率。

神经常微分方程（Neural ODE）

Neural ODE将神经网络的连续层视为常微分方程的解，将离散层堆叠推广为连续时间演化。

核心资源：

• 连续深度网络：Neural ODE与ResNet的联系
• Transformer作为微分方程：连续化Transformer的思路

核心思想：

传统网络的隐藏层更新：

连续化为ODE形式：

优势：

• 自适应计算：可在任意精度下求解
• 内存效率：无需存储中间层
• 可逆性：支持精确的似然计算

液态神经网络（LNN）

液态神经网络（Liquid Neural Networks）是一类具有动态时间常数和连续状态更新的神经网络，能够自适应地处理时序数据。

核心资源：

• 液态神经网络：LNN的架构设计与理论基础

核心特性：

• 液态参数：时间常数随输入动态变化
• 连续时间更新：状态更新遵循连续动力学
• 小型化：相比传统RNN使用更少参数

Titans与长期记忆架构

Titans是Google Research提出的新型架构，通过神经记忆模块实现测试时持续学习，是连续神经网络的重要扩展。

核心资源：

• Titans架构详解：神经记忆模块、测试时学习、三大变体
• MIRAS框架：关联记忆的统一理论框架
• 测试时记忆学习理论：理论基础与收敛性分析

核心特性：

• 测试时学习：记忆在推理中持续更新
• 超长上下文：支持200万+ tokens
• 选择性遗忘：自适应门控机制

学习路径建议

推荐学习顺序

第一阶段：基础概念（第1-2周）
├── 1. 理解隐式表示的基本思想
│   └── 阅读：[[../implicit-neural-representations/implicit-neural-representations|隐式神经表示]]
├── 2. 掌握SIREN的核心技术
│   └── 阅读：[[../implicit-neural-representations/siren-networks|SIREN网络]]
└── 3. 理解连续性与微分的联系
    └── 阅读：[[../resnet-dynamical-system-theory|ResNet与动力系统理论]]

第二阶段：进阶应用（第3-4周）
├── 4. NeRF 3D重建
│   └── 学习：体渲染、位置编码、射线采样
├── 5. Neural ODE入门
│   └── 阅读：[[../neural-odes-continuous-depth-networks|连续深度网络]]
└── 6. 代码实践：实现简单INR

第三阶段：深入研究（第5-8周）
├── 7. 液态神经网络
│   └── 阅读：[[../liquid-neural-networks|液态神经网络]]
├── 8. Titans与测试时学习
│   └── 阅读：[[../titans-long-term-memory-architecture|Titans架构]]
└── 9. 探索前沿：Diffusion与连续表示的结合

前置知识要求

核心公式速查

1. 隐式神经表示

通用形式：

MLP结构：

2. SIREN正弦激活

前向传播：

梯度关系：

3. NeRF体渲染

体积渲染积分：

其中 $T_i=\exp \left(-{\sum }_{j=1}^{i-1}{\sigma }_j{\delta }_j\right)$

位置编码：

4. Neural ODE

连续更新：

ODE求解：

龙格-库塔法：

其中 $k_i$ 为各阶段斜率。

5. 液态神经网络

液态时间常数更新：

其中 $\tau (\cdot )$ 为输入依赖的时间常数网络。

工具与库推荐

深度学习框架

微分方程求解

隐式表示专用

可视化工具

论文推荐

必读经典

进阶阅读

前沿探索

相关领域链接

核心相关

理论支撑

应用领域

学习资源

更新日志

本专题持续更新中，欢迎补充相关资源和论文推荐。