Rectified Flows与最优传输的关系

1. 背景：曲线矫直目标

Rectified Flows（矫直流）是一种基于常微分方程（ODE）的生成模型框架，通过学习速度场将源分布 ${\mu }_0$ 传输到目标分布 ${\mu }_1$。¹

给定一个耦合 $(X_0,X_1)$，其中 $X_0\sim {\mu }_0$，$X_1\sim {\mu }_1$，我们考虑线性插值：

$$X_t=(1-t)X_0+t{X}_1,t\in [0,1]$$

其中 ${\mu }_t$ 是 $X_t$ 的分布。通过最小化损失函数构建速度场 $v_t$：

$$v_t\in \arg \underset{w_t\in L^2({\mu }_t)}{\min }L(w_t|X_0,X_1)$$ $$L(w_t|X_0,X_1):={\int }_0^1\mathbb{E}\left[\Vert w_t(X_t)-(X_1-X_0){\Vert }^2\right]dt$$

根据条件期望的最优预测性质，最优速度场为：

$$v_t(x)=\mathbb{E}[X_1-X_0\mid X_t=x]\text{\hspace{1em}(1)}$$

该速度场满足连续性方程：

$${\partial }_t{\mu }_t+\text{div}(v_t{\mu }_t)=0\text{\hspace{1em}(2)}$$

**矫直（Rectification）**的思想是：从任意初始耦合出发，通过迭代”矫直”过程，使得传输路径逐渐变直，最终目标是获得最优传输映射。²

---

2. 不变性性质

2.1 仿射不变性

设 $(X_0,X_1)$ 为 ${\mu }_0$ 和 ${\mu }_1$ 之间的耦合，$v_t$ 为损失函数 (1) 的最小化子。令 $A\in {\mathbb{R}}^{d\times d}$ 可逆，$b\in {\mathbb{R}}^d$，$c\in {\mathbb{R}}_{>0}$。则有如下性质：¹

(i) 平移+缩放不变性：速度场 $v_{A,b}^t=\arg \min L(w_t\mid A{X}_0+b,A{X}_1+b)$ 满足：

$$v_{A,b}^t(x)=A{v}_t(A^{-1}(x-b))$$

(ii) 目标平移不变性：$v_b^t=\arg \min L(w_t\mid X_0,X_1+b)$ 满足：

$$v_b^t(x)=v_t(x-tb)+b$$

(iii) 目标缩放不变性：$v_c^t=\arg \min L(w_t\mid X_0,c{X}_1)$ 满足：

$$v_c^t=\frac{c}{1-t+tc}{v}^r\left(\frac{x}{1-t+tc}\right)+\frac{c-1}{1-t+tc}x,r=\frac{tc}{1-t+tc}$$

注：这些不变性（ii）（iii）同样适用于最优传输和 Benamou-Brenier 定理中的速度场。但性质（i）对最优传输不成立，当使用梯度约束损失函数时也不再成立。¹

---

3. 高斯与高斯混合设置

3.1 高斯情况

假设 $(X_0,X_1)\sim \mathcal{N}(0,\Sigma )$，其中：

$$\Sigma =\left(\begin{array}{cc}{\Sigma }_0& {\Sigma }_{10}\\ {\Sigma }_{01}& {\Sigma }_1\end{array}\right),{\Sigma }_0,{\Sigma }_1\text{ 正定}$$

则最小化器 $v_t$ 有显式表达式：

$$v_t(x)=\frac{1}{1-t}\left((1-t){\Sigma }_{01}+t{\Sigma }_1\right){\Sigma }_t^{-1}x-x\text{\hspace{1em}(3)}$$

其中 ${\Sigma }_t=\text{Cov}(X_t)=(1-t{)}^2{\Sigma }_0+(1-t)t({\Sigma }_{01}+{\Sigma }_{10})+t^2{\Sigma }_1$。

关键结论：若 ${\Sigma }_{01}={\Sigma }_{10}=0$ 且 ${\Sigma }_0$、${\Sigma }_1$ 可联合对角化，则一步矫直后即得到最优耦合：

$$(Z_0,Z_1):=\mathcal{R}(X_0,X_1)$$

是一维情形下 ${\mu }_0$ 和 ${\mu }_1$ 之间的唯一最优耦合。¹³

3.2 高斯混合情况

设 $(X_0,X_1)\sim {\sum }_{k=1}^K{\pi }_k\mathcal{N}(m^k,{\Sigma }^k)$，则最优速度场为各分量速度场的加权平均：

$$v_t(x)=\sum _{k=1}^K{\alpha }_k(x)w_k^t(x)\text{\hspace{1em}(4)}$$

其中 ${\alpha }_k(x)=\frac{{\pi }_k{p}_k^t(x)}{{\sum }_j{\pi }_j{p}_j^t(x)}$，$p_k^t$ 为高斯密度，$w_k^t$ 为对应于第 $k$ 个分量的速度场。¹

---

4. 与最优传输的关系：梯度约束的局限

4.1 梯度约束矫直

原始 Rectified Flow 的损失为零并不意味着得到最优传输。Liu (2022) 观察到最优传输的速度场（Brenier 势函数的梯度）具有特殊性质，因此提出在 (1) 中加入梯度约束：⁴

$$v_t\in \arg \underset{w_t\in L^2({\mu }_t)}{\min }L(w_t\mid X_0,X_1)\text{s.t.}{w}_t=\nabla {\phi }_t\text{ 对某 }{\phi }_t:{\mathbb{R}}^d\to \mathbb{R}\text{\hspace{1em}(5)}$$

记带梯度约束的矫直算子为 ${\mathcal{R}}_p$。Liu 声称存在如下等价链：

$$(X_0,X_1)={\mathcal{R}}_p((X_0,X_1))⟺\exists v_t=\nabla {\phi }_t:L(v_t\mid X_0,X_1)=0⟺(X_0,X_1)\text{ 是最优耦合}\text{\hspace{1em}(6)}$$

4.2 解的存在性

问题 (5) 的解是否存在并不显然。Hertrich 等人证明了解在弱形式下总是存在的：¹

命题 8：设 $v_t$ 和 $v_p^t$ 分别为 (1) 和 (9) 的解，则：

• (i) $v_p^t$ 是 $v_t$ 到梯度闭包 $\overline{\nabla \varphi }$ 在 $L^2({\mu }_t)$ 中的正交投影
• (ii) 存在光滑势函数序列 ${\phi }_n$ 使得 $\nabla {\phi }_n\to v_p$（$L^2$ 收敛）
• (iii) $v_p^t$ 是连续性方程 ${\partial }_t{\mu }_t+\text{div}(v_p^t{\mu }_t)=0$ 的最小范数解
• (iv) 若 (5) 的最小化子存在，则与 $v_p^t$ 一致

关键洞察：Benamou-Brenier 定理同样优化最小范数速度场，但同时也对路径 ${\mu }_t$ 进行优化。当 ${\mu }_t$ 固定为线性插值分布时，$v_p^t$ 并不直接给出最优传输。¹

---

5. 反例：揭示先前等价性声明的问题

5.1 反例一：不相连支撑集

设 $\eta \in \mathcal{P}({\mathbb{R}}^2)$ 为支撑在 $\Vert x\Vert \le 0.3$ 内的任意概率测度。定义：

$${\mu }_0=\frac{1}{2}\left({\eta }_{(-2,1)}+{\eta }_{(2,-1)}\right),{\mu }_1=\frac{1}{2}\left({\eta }_{(-2,-1)}+{\eta }_{(2,1)}\right)\text{\hspace{1em}(7)}$$

其中 ${\eta }_b=(\cdot +b{)}_{\#}\eta$ 为平移版本。构造两个不同的耦合 $(X_0,X_1)$ 和 $({\tilde{X}}_0,{\tilde{X}}_1)$：

$$X_1=\{\begin{array}{ll}{X}_0-(0,2)& \text{if }(X_0{)}_1<-1\\ X_0+(0,2)& \text{if }(X_0{)}_1>1\end{array},{\tilde{X}}_1=\{\begin{array}{ll}{X}_0-(4,0)& \text{if }(X_0{)}_2<-0.5\\ X_0+(4,0)& \text{if }(X_0{)}_2>0.5\end{array}$$

命题 10：两个耦合 $(X_0,X_1)$ 和 $({\tilde{X}}_0,{\tilde{X}}_1)$ 都是 ${\mathcal{R}}_p$ 的固定点，且在 (7) 中损失为零。但 $\mathbb{E}[\Vert {\tilde{X}}_1-{\tilde{X}}_0{\Vert }^2]>\mathbb{E}[\Vert X_1-X_0{\Vert }^2]$，因此 $({\tilde{X}}_0,{\tilde{X}}_1)$ 不是最优耦合。¹

问题根源：Liu 的证明在方向 ii) → iii) 中，只证明了速度场在 $X_t$ 几乎处处有直线路径。但引理 5.9 要求速度场在处处有直线路径。当 ${\mu }_t$ 的支撑不相连时，这一假设不成立。

修正后的定理 11：若额外假设 $\text{supp}(X_t)={\mathbb{R}}^d$（即支撑集连通），则等价链 (6) 成立。¹

5.2 反例二：非可矫直耦合

考虑 ${\mu }_0={\mu }_1=\mathcal{N}(0,I_d)$，定义耦合 $X_1=-X_0$。

命题 13：

• (i) 最优速度场 $v_t(x)=-\frac{2}{1-2t}x=\nabla {\phi }_t(x)$，其中 ${\phi }_t(x)=-\frac{1}{1-2t}\Vert x{\Vert }^2$
• (ii) $L(v_t\mid X_0,X_1)=0$，但该耦合不是最优的（实际上是最差的耦合之一）
• (iii) 该耦合是非可矫直的：ODE ${\dot{Z}}_t=v_t(Z_t)$ 的解不唯一

几何直观：当 $t=\frac{1}{2}$ 时，插值 $X_{1/2}=0$ 几乎必然成立，所有样本汇聚到原点。此时条件期望定义不明确，导致 ODE 路径分叉。¹

5.3 推论：损失为零 ≠ 最优

推论 17：设 $(X_0,X_1)$ 为高斯非可矫直耦合。通过向 $X_0$ 注入任意小的高斯噪声 $\mathcal{N}(0,c^{2}I)$ 可得到可矫直耦合 $(X_c^0,X_c^1)$。则对任意 $ϵ>0$，存在 $c>0$ 使得：

$$L(v_c^t\mid X_c^0,X_c^1)<ϵ,W_2^2({\mu }_c^0,{\mu }_1)<ϵ$$

但

$${\int }_0^1\mathbb{E}[\Vert v_c^t(X_c^t){\Vert }^2]dt>4-ϵ,\mathbb{E}[\Vert X_c^1-X_c^0{\Vert }^2]>4-ϵ$$

即：损失函数任意小并不意味着接近最优耦合，甚至不意味着可矫直性。¹

---

6. 实践意义

基于上述理论分析，我们得出以下实践建议：

6.1 生成模型 vs 最优传输计算

Rectified Flows 作为生成模型表现出色，能够高效地从噪声生成样本。但将其用于计算最优传输映射存在根本性限制：

问题类型	适用性
图像/语音生成	✅ 非常适合
域迁移	✅ 效果良好
最优传输映射计算	❌ 不推荐

6.2 噪声注入策略

为确保迭代过程中耦合保持可矫直，建议在每步注入少量噪声：

$$X_0^{(i+1)}=\sqrt{1-c_i}{Z}_0^{(i)}+\sqrt{c_i}{W}^{(i)},W^{(i)}\sim \mathcal{N}(0,I)$$

定理 18：该策略保持边缘分布不变，损失值以 $O(1/K+{\bar{c}}_K)$ 速率收敛（其中 ${\bar{c}}_K$ 为注入噪声水平的平均）。但收敛目标仍是损失为零，而非最优耦合。¹

6.3 数据不相连的情况

实际应用中，数据分布的支撑集往往不相连（如多模态分布）。在此情形下：

1. 即使经过多次矫直迭代，仍可能收敛到非最优的固定点
2. 最小化损失函数（即使达到零）不能保证获得最优传输
3. 速度场的路径长度与耦合距离可能远离最优值

---

7. 总结

本文揭示了 Rectified Flows 与最优传输之间关系的若干关键发现：

1. 不变性性质：Rectified Flows 具有与最优传输部分相似的仿射不变性，但并非完全等价

2. 梯度约束的局限：仅施加梯度约束（势函数存在）不足以保证得到最优传输

3. 反例的教训：

   • 不相连支撑集 → 非最优固定点
   • 非可矫直耦合 → 损失为零但非最优
   • 小损失值 → 不意味着接近最优

4. 核心结论： enforcing a gradient constraint on rectified flows is, in general, not a reliable method for computing optimal transport maps.

---

参考文献

Footnotes

1. Hertrich, J., Chambolle, A., & Delon, J. (2025). On the Relation between Rectified Flows and Optimal Transport. NeurIPS 2025. https://arxiv.org/abs/2505.19712 ↩ ↩² ↩³ ↩⁴ ↩⁵ ↩⁶ ↩⁷ ↩⁸ ↩⁹ ↩¹⁰ ↩¹¹ ↩¹²

2. Liu, X., Gong, C., & Liu, Q. (2023). Flow Straight and Fast: Learning to Generate and Transfer Data with Rectified Flow. ICLR 2023. ↩

3. Roy, S., et al. (2024). On the Wasserstein Convergence and Straightness of Rectified Flow. https://arxiv.org/abs/2410.14949 ↩

4. Liu, Q. (2022). Rectified Flow: A Marginal Preserving Approach to Optimal Transport. https://arxiv.org/abs/2209.14577 ↩