1. 引言
时序图神经网络(Temporal Graph Neural Networks, TGNN)是处理动态演化图的深度学习模型，在社交网络分析、交通预测、推荐系统、金融风控等领域有广泛应用。
1.1 动态图的类型
| 类型 | 定义 | 示例 | 代表模型 |
|---|---|---|---|
| 离散时间动态图 (DTDG) | 快照序列 | 每日社交网络 | EvolveGCN, TGN |
| 连续时间动态图 (CTDG) | 带时间戳的事件序列 | 金融交易流 | JODIE, TGN-Attn |
| 加权时序图 | 带权重的时序边 | 通信网络 | STGCN, A3T-GCN |
1.2 核心挑战
┌─────────────────────────────────────────────────────────────────────┐
│ 时序图神经网络核心挑战 │
├─────────────────────────────────────────────────────────────────────┤
│ │
│ [挑战1] 时间依赖建模 │
│ └─→ 边的时间顺序如何编码？ │
│ └─→ 长期依赖如何保持？ │
│ │
│ [挑战2] 计算效率 │
│ └─→ 大规模动态图训练困难 │
│ └─→ 实时预测延迟 │
│ │
│ [挑战3] 归纳学习 │
│ └─→ transductive vs inductive设置 │
│ └─→ 新节点如何处理？ │
│ │
│ [挑战4] 连续预测 │
│ └─→ 高频实时预测需求 │
│ └─→ 现有方法计算开销过大 │
│ │
└─────────────────────────────────────────────────────────────────────┘2. 2025年核心进展概览
2.1 主要论文汇总
| 论文 | 会议 | 核心贡献 | 类型 |
|---|---|---|---|
| CODEN | ICLR 2026 | 连续时间预测高效TGNN | 新架构 |
| TETGN | IJCKG 2025 | 轨迹编码平衡transductive/inductive | 新架构 |
| TIDFormer | KDD 2025 | 时间交互动态Transformer | 新架构 |
| REINC | - | 可扩展分布式训练系统 | 系统优化 |
| DyGC | - | 动态图压缩(96%性能保留) | 数据压缩 |
| LDTGN | LoG 2025 | 模块化解耦设计 | 架构优化 |
| TGM | - | 模块化统一库 | 系统工具 |
2.2 技术演进路线
┌─────────────────────────────────────────────────────────────────────────┐
│ Temporal GNN 技术演进路线 │
├─────────────────────────────────────────────────────────────────────────┤
│ │
│ [早期] 静态GNN扩展 │
│ └─→ 添加时间维度 (Time Encoding) │
│ └─→ 快照序列处理 │
│ └─→ 代表: EvolveGCN, STGCN │
│ │
│ [中期] 记忆增强架构 │
│ └─→ TGN (Memory Module) │
│ └─→ 消息传递 + 时序聚合 │
│ └─→ 代表: JODIE, TGN, DyGFormer │
│ │
│ [当前] 2025年最新进展 │
│ ┌───────────────────────────────────────────────────────────────┐ │
│ │ │ │
│ │ ① 连续预测优化 ──→ CODEN (效率+效果双优化) │ │
│ │ ② Transductive/Inductive统一 ──→ TETGN (轨迹编码) │ │
│ │ ③ Transformer融合 ──→ TIDFormer (可解释SAM) │ │
│ │ ④ 可扩展训练 ──→ REINC (分布式) / DyGC (压缩) │ │
│ │ ⑤ 模块化解耦 ──→ LDTGN / TGM (统一框架) │ │
│ │ │ │
│ └───────────────────────────────────────────────────────────────┘ │
│ │
└─────────────────────────────────────────────────────────────────────────┘
3. CODEN：连续时间预测模型
3.1 问题背景
核心问题：现有TGNN主要针对给定时间跨度的一次性预测，而许多应用需要连续预测——频繁地随时间发布预测。
| 场景 | 需求 |
|---|---|
| 金融风控 | 毫秒级实时欺诈检测 |
| 网络入侵检测 | 持续监控与预警 |
| 交通预测 | 实时路况更新 |
| 推荐系统 | 动态用户画像更新 |
3.2 CODEN架构
论文：CODEN: Efficient Temporal Graph Neural Networks for Continuous Prediction
┌─────────────────────────────────────────────────────────────────────┐
│ CODEN 架构 │
├─────────────────────────────────────────────────────────────────────┤
│ │
│ 连续预测场景： │
│ ┌─────────────────────────────────────────────────────────────┐ │
│ │ │ │
│ │ t₀ t₁ t₂ t₃ t₄ → 时间 │ │
│ │ │ │ │ │ │ │ │
│ │ ▼ ▼ ▼ ▼ ▼ │ │
│ │ [事件] [事件] [事件] [事件] [事件] │ │
│ │ │ │ │ │ │ │ │
│ │ └─────────┴─────────┴─────────┴─────────┘ │ │
│ │ │ │ │
│ │ ▼ │ │
│ │ ┌─────────────┐ │ │
│ │ │ CODEN 模型 │ │ │
│ │ └──────┬──────┘ │ │
│ │ │ │ │
│ │ ┌───────────┼───────────┐ │ │
│ │ ▼ ▼ ▼ │ │
│ │ [预测₁] [预测₂] [预测₃] ... (高频输出) │ │
│ │ │ │
│ └─────────────────────────────────────────────────────────────┘ │
│ │
│ 核心创新： │
│ ┌─────────────────────────────────────────────────────────────┐ │
│ │ 1. 高效时间编码 ──→ O(1) per event vs O(T) for TGN │ │
│ │ 2. 增量状态更新 ──→ 无需重算历史 │ │
│ │ 3. 自适应预测 ──→ 根据事件动态调整预测频率 │ │
│ └─────────────────────────────────────────────────────────────┘ │
│ │
└─────────────────────────────────────────────────────────────────────┘
3.3 核心创新
| 创新点 | 说明 | 优势 |
|---|---|---|
| 高效时间编码 | per event时间复杂度 | 支持高频预测 |
| 增量状态更新 | 仅更新受影响的节点状态 | 降低计算开销 |
| 连续预测机制 | 自适应预测频率 | 平衡精度与效率 |
4. TETGN：轨迹编码时序图网络
4.1 问题背景
核心问题：现有TGN在transductive和inductive设置之间存在权衡困境：
| 设置 | 特点 | 问题 |
|---|---|---|
| Transductive | 预测已知节点间链接 | 无法泛化到新节点 |
| Inductive | 泛化到未见节点 | 对已知节点预测精度低 |
4.2 TETGN架构
论文：Trajectory Encoding Temporal Graph Networks
┌─────────────────────────────────────────────────────────────────────┐
│ TETGN 架构 │
├─────────────────────────────────────────────────────────────────────┤
│ │
│ 输入：(i, j, tₖ) 时序交互事件 │
│ │
│ ┌─────────────────────────────────────────────────────────────┐ │
│ │ 轨迹消息编码器 (TE Module) │ │
│ │ │ │
│ │ TE(x₀, x) ──→ 时序位置特征 │ │
│ │ │ │
│ │ 性质：TE(TE(x₀, x), y) = TE(x₀, x + y) │ │
│ │ 含义：轨迹编码满足可组合性 │ │
│ │ │ │
│ └─────────────────────────────────────────────────────────────┘ │
│ │ │
│ ▼ │
│ ┌─────────────────────────────────────────────────────────────┐ │
│ │ 可学习节点ID │ │
│ │ │ │
│ │ ┌─────────────────────────────────────────────────────┐ │ │
│ │ │ Initial ID ──→ MLP ──→ 可扩展节点标识符 │ │ │
│ │ │ (自动适应节点数) │ │ │
│ │ └─────────────────────────────────────────────────────┘ │ │
│ │ │ │
│ │ 作用：区分不同节点，同时支持新节点 │ │
│ └─────────────────────────────────────────────────────────────┘ │
│ │ │
│ ▼ │
│ ┌─────────────────────────────────────────────────────────────┐ │
│ │ TGN消息计算模块 │ │
│ │ │ │
│ │ m_{u→v}^{t} = MLP( h_u^{t-}, h_v^{t-}, Δt, TE(u), TE(v) )│ │
│ │ │ │
│ └─────────────────────────────────────────────────────────────┘ │
│ │ │
│ ▼ │
│ ┌─────────────────────────────────────────────────────────────┐ │
│ │ 多头注意力融合 │ │
│ │ │ │
│ │ 融合来源：TE模块输出 + TGN消息 + 节点特征 │ │
│ │ 注意力头：4头 / 8头 (可配置) │ │
│ └─────────────────────────────────────────────────────────────┘ │
│ │ │
│ ▼ │
│ 最终节点嵌入 h_v^t │
│ │
└─────────────────────────────────────────────────────────────────────┘
4.3 核心创新
| 创新点 | 说明 | 解决的问题 |
|---|---|---|
| 可学习节点ID | MLP从初始ID生成时序位置特征 | 匿名TGN无法区分节点 |
| 轨迹消息编码 | 满足可组合性的时序编码 | 捕获历史轨迹上下文 |
| 双流设计 | 节点特征流 + 轨迹特征流 | 平衡表达力与效率 |
5. TIDFormer：时间交互动态Transformer
5.1 问题背景
核心问题：现有基于Transformer的动态图模型存在可解释性不足和效率问题。
5.2 TIDFormer架构
论文：TIDFormer: Exploiting Temporal and Interactive Dynamics Makes A Great Dynamic Graph Transformer
会议：KDD 2025
┌─────────────────────────────────────────────────────────────────────┐
│ TIDFormer 架构 │
├─────────────────────────────────────────────────────────────────────┤
│ │
│ 三种编码模块： │
│ │
│ ┌─────────────────────────────────────────────────────────────┐ │
│ │ MTE: 混合粒度时间编码 (Mixed-granularity Temporal Encoding) │ │
│ │ │ │
│ │ t ──→ [年][月][日][时][分] ──→ 多尺度时间特征 │ │
│ │ │ │
│ │ 利用日历结构建模周期性特征 │ │
│ └─────────────────────────────────────────────────────────────┘ │
│ │ │
│ ▼ │
│ ┌─────────────────────────────────────────────────────────────┐ │
│ │ BIE: 双向交互编码 (Bidirectional Interactive Encoding) │ │
│ │ │ │
│ │ 二分图：Source → Target │ │
│ │ 非二分图：双向注意力 │ │
│ │ │ │
│ │ 仅采样一阶邻居，显著降低复杂度 │ │
│ └─────────────────────────────────────────────────────────────┘ │
│ │ │
│ ▼ │
│ ┌─────────────────────────────────────────────────────────────┐ │
│ │ STE: 季节趋势编码 (Seasonal-Trend Encoding) │ │
│ │ │ │
│ │ 季节性成分 + 趋势性成分 │ │
│ │ 捕获历史交互模式的潜在变化 │ │
│ └─────────────────────────────────────────────────────────────┘ │
│ │ │
│ ▼ │
│ ┌─────────────────────────────────────────────────────────────┐ │
│ │ 可解释的注意力SAM │ │
│ │ │ │
│ │ 注意力分数 = f(时间依赖, 交互依赖, 语义依赖) │ │
│ │ │ │
│ │ 明确建模三种依赖关系，可解释性强 │ │
│ └─────────────────────────────────────────────────────────────┘ │
│ │
└─────────────────────────────────────────────────────────────────────┘
5.3 SAM可解释性分析
TIDFormer的核心贡献之一是阐明并验证了动态图注意力SAM的可解释性：
| 注意力类型 | 捕获的关系 | 解释 |
|---|---|---|
| 时间注意力 | 事件间时间依赖 | 周期性模式、短期效应 |
| 交互注意力 | 节点间交互模式 | 社交影响、信息传播 |
| 语义注意力 | 节点特征相似性 | 兴趣相投、属性相关 |
6. 可扩展训练技术
6.1 REINC：分布式训练系统
论文：ReInc: Scaling Training of Dynamic Graph Neural Networks
核心优化：
| 技术 | 说明 | 效果 |
|---|---|---|
| 中间结果重用 | 连续快照间共享计算 | 减少冗余 |
| 增量聚合计算 | 仅计算增量变化 | O(E) → O(ΔE) |
| 两级缓存 | L1(GPU) + L2(CPU) | 减少IO开销 |
| 通信优化 | 连续块放置 | 消除远程通信 |
性能提升：相比SOTA框架实现10×加速
6.2 DyGC：动态图压缩
论文：Dynamic Graph Condensation (DyGC)
┌─────────────────────────────────────────────────────────────────────┐
│ 动态图压缩 (DyGC) │
├─────────────────────────────────────────────────────────────────────┤
│ │
│ 原始动态图 ──→ 压缩 ──→ 合成动态图 │
│ │
│ ┌─────────────────────────────────────────────────────────────┐ │
│ │ 压缩目标 │ │
│ │ │ │
│ │ |V_s| << |V| 节点数大幅减少 │ │
│ │ |E_s| << |E| 边数大幅减少 │ │
│ │ 性能保留 ≥ 96% │ │
│ │ 加速比 ≥ 1000× │ │
│ │ │ │
│ └─────────────────────────────────────────────────────────────┘ │
│ │ │
│ ▼ │
│ ┌─────────────────────────────────────────────────────────────┐ │
│ │ 技术方法 │ │
│ │ │ │
│ │ 1. Spiking Structure Generation │ │
│ │ └── 脉冲神经元动态建模时序感知连接 │ │
│ │ │ │
│ │ 2. Spatio-Temporal State Evolving Field │ │
│ │ └── 语义丰富的状态演化场 │ │
│ │ │ │
│ │ 3. Fine-grained State Alignment │ │
│ │ └── 细粒度时空状态对齐 │ │
│ │ │ │
│ └─────────────────────────────────────────────────────────────┘ │
│ │
│ 实验结果： │
│ ┌─────────────────────────────────────────────────────────────┐ │
│ │ 压缩率: 0.5% (使用0.5%的节点/边) │ │
│ │ 性能保留: 96.2% │ │
│ │ 训练加速: 1846× │ │
│ └─────────────────────────────────────────────────────────────┘ │
│ │
└─────────────────────────────────────────────────────────────────────┘
7. 模块化设计与工具
7.1 LDTGN：解耦设计
论文：Leveraging Temporal Graph Networks Using Module Decoupling
会议：LoG 2025
问题：批处理导致**缺失更新(missing updates)**现象
解决方案：记忆模块与计算模块解耦
传统设计（耦合）：
┌─────────────────────────────────────────────────┐
│ Memory ←── 同步更新 ──→ Computation │
│ (批处理导致延迟) │
└─────────────────────────────────────────────────┘
LDTGN设计（解耦）：
┌─────────────────────────────────────────────────┐
│ Memory ──── 异步更新 ──→ Computation │
│ │ ↑ │
│ │ 独立时钟 │ │
│ └────────────────────────┘ │
│ (无延迟更新) │
└─────────────────────────────────────────────────┘
7.2 TGM：模块化统一库
GitHub：tgm-team/tgm
特性：
| 特性 | 说明 |
|---|---|
| 统一API | 支持CTDG和DTDG |
| 效率 | 相比DyGLib平均7.8×加速 |
| 模块化 | Hook框架标准化任务流程 |
| 即插即用 | 支持多种主流TGNN模型 |
8. 与静态GNN的对比
8.1 核心差异
| 维度 | 静态GNN | 时序GNN (TGNN) |
|---|---|---|
| 图结构 | 固定不变 | 随时间演化 |
| 边信息 | 单一表示 | 带时间戳的事件序列 |
| 节点表示 | ||
| 时间依赖 | 无 | 显式建模 |
| 计算复杂度 | 额外考虑历史窗口 |
8.2 时序建模方法对比
| 方法 | 时间编码 | 记忆机制 | 代表模型 |
|---|---|---|---|
| RNN-based | 隐状态传递 | Memory模块 | TGN, JODIE |
| Attention-based | 时间位置编码 | 自注意力 | TIDFormer |
| Continuous | 微分方程 | ODE求解 | CODEN |
| Memory-based | 轨迹编码 | 记忆增强 | TETGN |
9. 未来趋势
| 趋势 | 说明 |
|---|---|
| 连续预测优化 | 高频实时应用需求 |
| Transformer融合 | 更强的时序依赖建模 |
| 可扩展性 | 大规模动态图训练 |
| 模块化设计 | 提高研究和工程效率 |
| 理论分析 | 表达力与收敛性保证 |
10. 相关专题
- GNN基础 — 图神经网络基础
- GNN表达力理论 — 1-WL与表达力
- Graph Transformer — 图上的Transformer架构