3D视觉与视频生成专题索引

目录

• 专题介绍
• 内容导航
  • 3D Gaussian Splatting
  • 3D扩散生成
  • 视频→3D重建
  • 视频世界模型
• 学习路径建议
• 核心公式速查
• 工具与库推荐
• 论文推荐
• 相关领域链接

专题介绍

什么是3D视觉与视频生成

3D视觉与视频生成是计算机视觉和生成模型交叉的前沿领域，涵盖了：

1. 3D场景表示与重建：从图像/视频恢复3D结构
2. 3D内容生成：文本/图像驱动的3D资产生成
3. 视频理解与生成：视频预测、条件生成
4. 世界模型：环境动态建模与交互仿真

技术演进路线

传统SfM/MVS → 深度学习3D → 扩散3D生成 → 视频世界模型
     ↓              ↓              ↓             ↓
  COLMAP      NeRF/3DGS      DreamFusion   GEN3C/DeepVerse

核心主题

内容导航

3D Gaussian Splatting

3D Gaussian Splatting是一种高效的3D场景表示和渲染技术。

核心资源：

• 3D Gaussian Splatting基础

  • 3D高斯函数定义与参数化
  • 可微splatting渲染
  • 训练优化策略
  • 与NeRF对比

• GS变体与优化

  • 动态场景4DGS
  • 压缩与加速技术
  • 表面质量提升
  • SuGaR, Compact GS

3D扩散生成

使用扩散模型进行文本/图像到3D的生成。

核心资源：

• 前馈3D生成模型

  • LRM大重建模型
  • TripoSR快速重建
  • One-2-3-45++管道
  • CRM网格生成

• Score Distillation基础

  • SDS原理推导
  • DreamFusion架构
  • 物理解释

• 改进的3D扩散方法

  • ProlificDreamer VSD
  • Magic3D高分辨率
  • 多视角扩散
  • Fantasia3D几何-纹理解耦

• LLM增强3D生成

  • CG-MLLM方法
  • 语义引导生成
  • 场景图生成

视频→3D重建

从视频进行3D重建的深度学习方法。

核心资源：

• 视频到3D重建

  • DUSt3R任意图像重建
  • See3D自监督学习
  • MASt3R匹配增强
  • SfM与学习融合

• 4D场景表示

  • HexPlane高效4D表示
  • 4D Gaussian Splatting
  • 时空一致性建模
  • DreamVideo4D, Coarse4D

• VLM-3R指令对齐重建

  • 指令解析与引导
  • 重建-推理协同
  • 场景图生成

视频世界模型

视频生成作为世界模型的最新进展。

核心资源：

• 视频→世界模型演进

  • 视频生成 vs 世界模型
  • 物理约束建模
  • 时空一致性
  • CVPR 2025 Tutorial总结

• GEN3C 3D感知视频

  • 3D条件注入
  • 相机控制机制
  • 世界一致性保证
  • NVIDIA CVPR 2025

• DeepVerse 4D世界模型

  • 4D时空体积
  • 自回归视频生成
  • 动作条件预测
  • 上海AI Lab

• 交互式视频世界模型

  • Vid2World方法
  • VDAWorld VLM引导
  • 自然语言动作控制
  • 长时域一致性

• PAN通用世界模型

  • 领域通用设计
  • 层次化预测
  • 记忆机制
  • MBZUAI

• Astra自回归世界模型

  • 去噪自回归框架
  • 动作条件编码
  • 视频预测能力
  • 清华&快手

学习路径建议

推荐学习顺序

第一阶段：3D基础（第1-2周）
├── 1. 理解3D表示基础
│   └── 阅读：[[../3d-vision/3d-gaussian-splatting|3DGS基础]]
├── 2. 掌握3DGS变体与优化
│   └── 阅读：[[../3d-vision/gaussian-splatting-variants-optimization|GS变体]]
└── 3. 了解前馈3D生成
    └── 阅读：[[../3d-vision/feedforward-3d-generation|前馈3D生成]]

第二阶段：3D扩散生成（第3-4周）
├── 4. Score Distillation原理
│   └── 阅读：[[../3d-vision/dreamfusion-score-distillation|SDS基础]]
├── 5. 改进的3D扩散方法
│   └── 阅读：[[../3d-vision/improved-3d-diffusion-generation|改进方法]]
└── 6. LLM增强3D生成
    └── 阅读：[[../3d-vision/3d-generation-llm-enhancement|LLM增强]]

第三阶段：视频→3D（第5-6周）
├── 7. 视频到3D重建
│   └── 阅读：[[../3d-vision/video-to-3d-reconstruction|视频重建]]
├── 8. 4D场景表示
│   └── 阅读：[[../3d-vision/4d-scene-representation|4D表示]]
└── 9. 指令对齐重建
    └── 阅读：[[../3d-vision/vlm-3r-instruction-aligned-reconstruction|VLM-3R]]

第四阶段：世界模型（第7-8周）
├── 10. 世界模型演进
│   └── 阅读：[[../world-models/video-to-world-model-evolution|演进]]
├── 11. 3D感知视频生成
│   └── 阅读：[[../world-models/gen3c-3d-informed-video-generation|GEN3C]]
├── 12. 4D世界模型
│   └── 阅读：[[../world-models/deepverse-4d-world-model|DeepVerse]]
└── 13. 交互式世界模型
    └── 阅读：[[../world-models/interactive-video-world-models|交互式]]

前置知识要求

核心公式速查

3D Gaussian Splatting

3D高斯函数：

协方差矩阵参数化：

Score Distillation Sampling

SDS梯度：

4D表示

HexPlane查询：

自回归视频预测

条件生成：

工具与库推荐

3D重建与渲染

3D生成

视频生成

评估工具

论文推荐

必读经典

进阶阅读

前沿探索

相关领域链接

核心相关

应用领域

理论支撑

更新日志

本专题持续更新中，欢迎补充相关资源和论文推荐。