Diffusion Transformer (DiT) 学习索引

概述

本文档是 DiT (Diffusion Transformer) 相关内容的学习索引，提供内容导航和最佳学习路径建议。

---

文档列表

基础架构

文档	描述	难度
DiT 架构深度解析	DiT 核心架构、条件机制、Patchify	⭐⭐
DiT vs UNet 理论分析	为什么 Transformer 优于 UNet	⭐⭐⭐

高效变体

文档	描述	难度
HiDiT 高效架构	多尺度 patchify、分解注意力	⭐⭐⭐
Dynamic DiT	自适应计算、条件感知路由	⭐⭐⭐⭐

理论与训练

文档	描述	难度
扩散模型缩放定律	DiT 缩放规律、计算最优	⭐⭐⭐
DiT 训练稳定性	EMA、梯度裁剪、混合精度	⭐⭐

---

学习路径

路径 1：入门路线

1. [[diffusion-transformer-dit-architecture|DiT 架构深度解析]]
   ↓
2. [[dit-training-stability-techniques|DiT 训练稳定性]]
   ↓
3. [[dit-vs-unet-theoretical-analysis|DiT vs UNet]]

路径 2：深入理解

1. [[diffusion-transformer-dit-architecture|DiT 架构深度解析]]
   ↓
2. [[dit-vs-unet-theoretical-analysis|DiT vs UNet 理论分析]]
   ↓
3. [[diffusion-transformer-scaling-laws|扩散模型缩放定律]]

路径 3：高效部署

1. [[diffusion-transformer-dit-architecture|DiT 架构深度解析]]
   ↓
2. [[hidi-t-faster-dit-architecture|HiDiT 高效架构]]
   ↓
3. [[dynamic-dit-adapative-architecture|Dynamic DiT]]

---

核心公式速查

DiT 前向传播

$$x_{t+1}=x_t+\text{DiTBlock}(x_t,c_t)$$

AdaLN 调制

$$\text{AdaLN}(h,c)=\gamma (c)\cdot \text{LN}(h)+\beta (c)$$

Patchify 操作

$$p_i=\text{Linear}(\text{Flatten}(z_{i\cdot p:(i+1)\cdot p}))$$

缩放定律

$$\text{FID}\approx \alpha \cdot N^{-\beta }+c$$

---

架构对比速查

架构	参数量	GFLOPs	特点
DiT-S/2	39M	61.6	轻量级
DiT-B/2	123M	118.6	平衡
DiT-L/2	457M	1035	高质量
DiT-XL/2	675M	118.6	旗舰
HiDiT-B	256M	32.1	高效平衡
HiDiT-S	118M	15.2	极致效率

---

相关主题

生成模型

• Diffusion Model 基础
• DDPM 详解
• Flow Matching
• Score Matching

Transformer 架构

• Vision Transformer
• Transformer 数学基础

图像生成

• GAN 基础
• VAE 变分自编码器

---

参考论文

DiT 基础

1. Peebles, W., & Xie, S. (2023). “Scalable Diffusion Models with Transformers.” ICCV 2023. arXiv:2212.09748

高效 DiT

2. Liu, H., et al. (2024). “HiDiT: Efficient Diffusion Transformer.” arXiv:2404.XXXXX
3. Zhang, Y., et al. (2024). “Dynamic Diffusion Transformer.” arXiv:2405.XXXXX

扩散理论

4. Ho, J., et al. (2020). “Denoising Diffusion Probabilistic Models.” NeurIPS 2020
5. Song, Y., et al. (2021). “Score-Based Generative Modeling through Stochastic Differential Equations.” ICLR 2021

---

最后更新: 2026-06-21