多模态学习

专题简介

本专题涵盖多模态学习的核心理论与实践方法，包括：

• 统一多模态模型：理解和生成的统一架构
• 视觉-语言模型：VLM架构设计最新进展
• 多模态生成：文本到图像、视频生成
• 多模态LLM：2025-2026年架构综述

核心内容

统一多模态模型

视觉-语言模型

多模态推理专题

学习路径

入门路径

1. 基础理论

   • multimodal-llm-architectures-2025 — 理解多模态架构演进

2. 统一模型入门

   • transfusion-unified-multimodal — 学习统一架构基础
   • bagel-unified-multimodal-foundation — 理解decoder-only统一设计

3. 进阶模型

   • emma-efficient-unified-multimodal — 高效设计
   • mogao-interleaved-multimodal-generation — 交错生成

相关领域

深度学习基础

• Transformer与注意力
• 扩散模型

视觉模型

• Vision Transformer
• Swin Transformer

生成模型

• GAN基础
• Flow Matching

推荐阅读

经典论文

1. BAGEL: Emerging Properties in Unified Multimodal Pretraining
2. EMMA: Efficient Multimodal Understanding, Generation, and Editing
3. Mogao: An Omni Foundation Model for Interleaved Multi-Modal Generation
4. NExT-OMNI: Towards Any-to-Any Omnimodal Foundation Models
5. ThinkMorph: Emergent Properties in Multimodal Interleaved Chain-of-Thought Reasoning

最新研究

• 关注ICLR/NeurIPS多模态相关论文
• arXiv:multimodal, cs.CV, cs.CL

最新更新

本索引由Agent维护，最后更新：2026-05-19