专题介绍
双曲深度学习（Hyperbolic Deep Learning）是近年来快速发展的新兴领域，将黎曼几何与深度学习相结合，利用双曲空间（负常曲率流形）的独特性质来处理具有层次结构的数据。
核心优势
| 特性 | 欧几里得空间 | 双曲空间 |
|---|---|---|
| 体积增长 | （多项式） | （指数） |
| 树嵌入维度 | ||
| 层次表示 | 需显式编码 | 自然嵌入 |
| 适合数据类型 | 无结构数据 | 层次/树状数据 |
典型应用场景
- 📊 知识图谱：嵌入上下位关系
- 🔍 推荐系统：用户兴趣层次建模
- 🖼️ 计算机视觉：视觉概念层次
- 📝 自然语言处理：语义上下位关系
- 🧬 生物信息学：细胞/蛋白质层次
内容导航
基础理论
| 文档 | 内容 | 难度 |
|---|---|---|
| 双曲几何基础 | Poincaré ball、Lorentz模型、指数/对数映射、Mobius运算 | ⭐⭐ |
| 双曲神经网络 | 双曲线性层、注意力、归一化、残差连接 | ⭐⭐⭐ |
| 双曲图神经网络 | Poincaré GCN、Lorentz GNN、层次聚合 | ⭐⭐⭐ |
应用实践
| 文档 | 内容 | 难度 |
|---|---|---|
| 应用场景 | 知识图谱、推荐系统、CV、NLP | ⭐⭐ |
学习路径
入门路径
1. 双曲几何基础
├── 了解Poincaré ball定义
├── 掌握距离计算
└── 理解指数/对数映射
2. 双曲神经网络
├── Mobius矩阵乘法
├── 双曲激活函数
└── 黎曼梯度下降
3. 应用实践
├── 选择合适任务
└── 使用geoopt库实现
推荐阅读顺序
核心概念速查
双曲空间模型
| 模型 | 优点 | 缺点 |
|---|---|---|
| Poincaré Ball | 直观、易可视化 | 边界处数值不稳定 |
| Lorentz | 数值稳定、线性结构 | 不够直观 |
| Half-Plane | 适合2D可视化 | 维度限制 |
关键公式
Poincaré距离：
Mobius加法：
Mobius梯度修正：
相关领域链接
几何深度学习
黎曼优化
知识图谱
工具与库
主要工具
| 工具 | 语言 | 特点 |
|---|---|---|
| geoopt | Python | PyTorch黎曼优化官方库 |
| PoincareEmbeddings | Python | Nickel & Kiela原始实现 |
| HyperCore | Python | Yale最新基础模型框架 |
| geomstats | Python | 通用黎曼几何库 |
安装指南
# geoopt - 黎曼优化
pip install geoopt
# hypercore - 双曲基础模型
pip install hypercore
# geomstats - 黎曼几何
pip install geomstats论文推荐
经典论文
-
Poincaré Embeddings (NeurIPS 2017)
- Nickel & Kiela
- 首个大尺度层次嵌入方法
-
Hyperbolic Neural Networks (NeurIPS 2018)
- Ganea, Becigneul & Hofmann
- 双曲神经网络基础框架
-
Hyperbolic Graph Neural Networks (NeurIPS 2020)
- Liu, Nickel, Kiela & Manning
- 图神经网络的双曲推广
最新进展
-
HyperCore (arXiv 2025)
- He, Yang & Ying
- 双曲基础模型框架
-
HELM (NeurIPS 2025)
- He et al.
- 双曲大语言模型
-
Cartan Networks (arXiv 2025)
- Milanesio et al.
- 基于李群理论的新架构
实践项目
入门项目
- Poincaré嵌入：在WordNet上复现Poincaré Embeddings
- 双曲分类器：在CIFAR-100上测试双曲MLP
- 双曲GNN：在CiteSeer上对比Poincaré GCN vs GCN
进阶项目
- 双曲推荐系统：实现双曲协同过滤
- HypRAG：构建层次化检索增强生成
- 双曲LLM：微调双曲语言模型
常见问题
Q: 何时应该使用双曲空间？
A: 当数据具有明显的树状或层次结构时。特别是：
- 层次深度 > 3层
- 需要同时表示细粒度和粗粒度实体
- 层次关系是核心语义
Q: 如何选择曲率参数 ？
A:
- 小数据集或浅层次：
- 标准设置：
- 深层次或密集层次：（如 2-5）
Q: 双曲网络训练困难吗？
A: 需要注意：
- 数值稳定性（投影到有界区域）
- 学习率调整（通常需要较小学习率）
- 初始化（使用小范数初始化）
Q: 双曲和欧几里得方法可以结合吗？
A: 是的！常见策略：
- 混合架构：浅层双曲 + 深层欧几里得
- 多空间编码：同一实体在不同空间有不同表示
- 曲率学习：将 作为可学习参数
更新日志
| 日期 | 更新内容 |
|---|---|
| 2026-05-15 | 初始版本：几何基础、神经网络、图神经网络、应用 |