因果表示学习

1. 概述

1.1 定义

因果表示学习（Causal Representation Learning, CRL） 旨在将高维观测数据（如图像、文本）映射到低维的潜在因果变量，并同时学习这些变量之间的因果关系图结构。

核心目标：从低层次的感知数据中恢复高层次的因果变量和因果图，使模型能够支持因果推理、反事实生成和分布外泛化。

1.2 研究背景

传统深度学习模型通过学习数据中的统计相关性来预测，这类方法存在以下问题：

问题	描述	因果学习的优势
缺乏可解释性	黑盒模型难以解释决策原因	因果变量具有语义可解释性
虚假相关性	容易学到训练数据中的虚假关联	因果机制具有不变性
分布外泛化差	在分布偏移情况下性能急剧下降	因果机制不变则泛化好

---

2. 理论基础

2.1 独立因果机制原理

独立因果机制（Independent Causal Mechanisms, ICM） 是因果表示学习的核心假设：

复杂系统的因果生成过程由多个独立的机制组成，每个机制负责产生一个或少数几个因果变量的值，且各机制相互独立。

这意味着：

• 每个因果变量只受其直接原因（父节点）影响
• 一个机制的变化不会影响其他机制

数学上，对于因果图 $G$ 中的变量 $X_1,...,X_n$：

$$p(X_1,...,X_n)=\prod _{i=1}^{n}p(X_i|P{A}_i)$$

其中 $P{A}_i$ 是 $X_i$ 的父节点集合。

2.2 可识别性条件

可识别性（Identifiability） 是因果表示学习的核心理论问题：给定无限数据时，何时能保证学习到的表示唯一等价于真实因果表示？

条件类型	描述	数据需求	代表方法
监督学习	存在因果标签或干预数据	标签/干预	监督表示学习
无监督学习	仅依靠统计独立性	i.i.d. 数据	iVAE, CausalVAE
多视图学习	同一因果过程的多个独立观察	多模态数据	MVTCAE
多环境学习	不同干预/分布下的数据	分布变化数据	IRM-CRL

2.3 理论最新进展

ICLR 2025 重要工作：

1. Unifying Causal Representation Learning with the Invariance Principle¹

   • 将因果表示学习与不变性原理统一
   • 利用数据增强和环境变化来识别因果因素

2. Identifiable Exchangeable Mechanisms²

   • 将因果结构学习与表示学习统一到交换机制框架下

---

3. 因果表示学习 vs 标准表示学习

3.1 目标函数对比

标准表示学习：

$$\underset{\varphi ,\theta }{\min }{\mathcal{L}}_{reconstruction}(x,D_{\theta }(E_{\varphi }(x)))+\beta \cdot R(z)$$

目标：重构/预测精度，$z$ 的统计性质

因果表示学习：

$$\underset{\varphi ,\theta ,G}{\min }{\mathcal{L}}_{task}(x,D_{\theta }(z_c))+\alpha \cdot R_{causal}(G)+\beta \cdot I(z_c;x)$$

目标：恢复因果生成机制，学习因果图结构 $G$

3.2 泛化能力差异

标准学习：P_test ≈ P_train → 好；P_test ≠ P_train → 差
因果学习：即使 P_test 变化，只要因果机制不变 → 依然好

3.3 对比总结

方面	标准表示学习	因果表示学习
目标	重构/预测精度	因果结构发现 + 可解释表示
学习信号	统计相关性	因果机制/干预效果
泛化能力	分布内	分布外/干预场景
可解释性	有限	高（因果语义明确）
反事实能力	无	支持

---

4. 与生成模型结合

4.1 整体框架

因果生成模型结合了深度生成模型与因果结构：

高维观测 X ──→ 编码器 ──→ 因果表示 Z_c
                                    │
                                    ↓
                              因果机制 SCM
                                    │
                                    ↓
解码器 ←── 反事实干预 Z_c*
                │
                ↓
         反事实生成 X*

4.2 VAE 系列

CausalVAE（CVPR 2021）³

核心创新：

• 在 VAE 框架中引入因果层（Causal Layer）
• 将独立的噪声变量通过 SCM 转化为因果相关变量
• 同时学习因果图结构和因果表示

架构：

独立潜在变量 z₁, z₂, ..., zₙ
        ↓ (通过因果机制)
因果变量 c₁, c₂, ..., cₙ
        ↓
    解码器 → 图像 X

iVAE（Khemakhem et al., 2020）⁴

利用辅助变量实现可识别性，是因果VAE的理论基础。

4.3 Diffusion 系列

Causal Diffusion Autoencoders（arXiv:2404.17735）

核心思想：将 Diffusion 的强大生成能力与因果表示的可控性结合

$$X_t={\alpha }_t\cdot E(z_c)+{\sigma }_t\cdot ϵ$$

其中 $z_c$ 是可控的因果表示。

---

5. 应用场景

5.1 医学影像分析

应用	描述
疾病诊断	识别导致异常的因果因素
跨域泛化	不同设备/医院的数据迁移
可解释诊断	提供诊断决策的因果解释

5.2 机器人学

ROPES（Robotic Pose Estimation via Score-Based Causal Representation Learning）

• 跨光照/背景泛化
• 对抗噪声鲁棒
• 可解释的位姿表示

5.3 生物医学

CausCell（Nature Communications 2025）：因果解耦用于单细胞组学数据分析

5.4 公平性与隐私

• 因果公平性：识别和消除歧视性因果路径
• 隐私保护：通过因果分析识别和移除敏感因果信息
• 反事实公平性：确保个体级别的公平决策

---

6. 参考文献

Footnotes

1. ICLR 2025. Unifying Causal Representation Learning with the Invariance Principle. arXiv:2409.02772. ↩

2. Identifiable Exchangeable Mechanisms. arXiv:2406.14302. ↩

3. Yang, M., et al. (2021). CausalVAE: Disentangled Representation Learning via Neural Structural Causal Models. CVPR. ↩

4. Khemakhem, I., et al. (2020). Variational Autoencoders and Nonlinear ICA: Unidentifiability and Identifiability. UAI. ↩