PPO Fisher-Rao几何理论与全局收敛性

1. 引言

PPO（Proximal Policy Optimization）是当前深度强化学习中最成功的策略优化算法之一¹。然而，长期以来PPO的理论基础相对薄弱，其截断机制（clipping mechanism）的理论动机并不清晰。2024-2025年间，研究者在PPO的理论分析方面取得了突破性进展，其中最具代表性的是Fisher-Rao几何视角的重新诠释和全局收敛性证明。

本文将系统介绍这些最新理论进展，重点关注：

1. PPO的原始形式与截断机制
2. Fisher-Rao几何框架下的重新诠释
3. 全局收敛性证明的核心思想
4. 与传统理论的关系

2. PPO原始形式回顾

2.1 策略梯度定理

在马尔可夫决策过程（MDP）中，策略梯度的目标是最大化期望累积回报：

$$J(\theta )={\mathbb{E}}_{{\pi }_{\theta }}\left[\sum _{t=0}^H{\gamma }^{t}r(s_t,a_t)\right]$$

策略梯度定理给出：

$${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{{\pi }_{\theta }}\left[{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\cdot Q^{{\pi }_{\theta }}(s_t,a_t)\right]$$

2.2 PPO截断目标函数

PPO通过引入截断机制来限制策略更新的幅度：

$$L^{\text{CLIP}}(\theta )={\mathbb{E}}_t\left[\min \left(r_t(\theta ){\hat{A}}_t,\text{clip}(r_t(\theta ),1-ϵ,1+ϵ){\hat{A}}_t\right)\right]$$

其中：

• $r_t(\theta )=\frac{{\pi }_{\theta }(a_t|s_t)}{{\pi }_{{\theta }_{\text{old}}}(a_t|s_t)}$ 是概率比
• ${\hat{A}}_t$ 是优势函数估计
• $ϵ$ 是截断超参数（通常设为0.2）

截断机制的直觉是防止策略变化过大导致性能崩溃，但其几何意义长期不清晰。

3. Fisher-Rao几何框架

3.1 概率分布的几何结构

Fisher-Rao几何是概率分布空间上的一种内蕴几何结构。设 $\mathcal{M}$ 是参数化概率分布族 $\{{\pi }_{\theta }\}$，则Fisher-Rao度量定义为：

$$g_{\theta }^{\text{FR}}(u,v)={\mathbb{E}}_{{\pi }_{\theta }}{\left[{\nabla }_{\theta }\log {\pi }_{\theta }\cdot u\right]}^{T}F(\theta )\left[{\mathbb{E}}_{{\pi }_{\theta }}\left[{\nabla }_{\theta }\log {\pi }_{\theta }\cdot v\right]\right]$$

其中 $F(\theta )$ 是Fisher信息矩阵：

$$F(\theta )={\mathbb{E}}_{{\pi }_{\theta }}\left[{\nabla }_{\theta }\log {\pi }_{\theta }\cdot ({\nabla }_{\theta }\log {\pi }_{\theta }{)}^T\right]$$

3.2 自然策略梯度

在Fisher-Rao几何下，自然策略梯度定义为：

$${\tilde{\nabla }}_{\theta }J=F(\theta {)}^{-1}{\nabla }_{\theta }J(\theta )$$

自然梯度具有参数化无关性：在不同的参数化下，自然梯度指向同一条黎曼梯度流。

3.3 KL散度与信任域

传统TRPO使用KL散度约束定义信任域：

$$\underset{\theta }{\max }{\mathbb{E}}_t\left[\frac{{\pi }_{\theta }(a_t|s_t)}{{\pi }_{{\theta }_{\text{old}}}(a_t|s_t)}{\hat{A}}_t\right]\text{s.t.}{\mathbb{E}}_t\left[D_{\text{KL}}({\pi }_{{\theta }_{\text{old}}}(\cdot |s_t)\Vert {\pi }_{\theta }(\cdot |s_t))\right]\le \delta$$

然而，KL散度在参数空间中的定义依赖于参数化方式，不具有几何不变性。

4. FR-PPO：Fisher-Rao几何视角的PPO

4.1 核心洞察

Lascu、Śiška与Szpruch在ICLR 2025的工作²提出了革命性的洞察：PPO的截断机制可以被理解为在Fisher-Rao几何下对策略更新的约束，而不是在参数空间中的欧氏约束。

具体而言，考虑两个策略 $\pi$ 和 ${\pi }^{\prime }$ 之间的Fisher-Rao距离：

$$d_{\text{FR}}(\pi ,{\pi }^{\prime })=\arccos \left({\mathbb{E}}_s\left[\sqrt{\pi (\cdot |s){\pi }^{\prime }(\cdot |s)}\right]\right)$$

4.2 截断机制的几何解释

FR-PPO证明了PPO的截断目标函数与以下几何约束等价：

定理（FR-PPO几何等价性）²：

设 ${\pi }_{{\theta }_{\text{old}}}$ 为旧策略，$r_t(\theta )={\pi }_{\theta }/{\pi }_{{\theta }_{\text{old}}}$，则在Fisher-Rao几何下，以下两个约束等价：

1. 概率比截断：$1-ϵ\le r_t(\theta )\le 1+ϵ$
2. 策略更新的Fisher-Rao距离约束：$d_{\text{FR}}({\pi }_{\theta },{\pi }_{{\theta }_{\text{old}}})\le c(ϵ)$

其中 $c(ϵ)=\sqrt{2ϵ-{ϵ}^2}+O({ϵ}^2)$。

4.3 更紧致的代理目标

基于Fisher-Rao几何，FR-PPO提出了更紧致的代理目标函数：

$$L^{\text{FR-PPO}}(\theta )={\mathbb{E}}_t\left[\frac{{\pi }_{\theta }(a_t|s_t)}{{\pi }_{{\theta }_{\text{old}}}(a_t|s_t)}{\hat{A}}_t\cdot \frac{2}{1+r_t(\theta {)}^{-1}}\right]$$

这个目标函数具有以下性质：

1. 几何不变性：在参数变换下保持不变
2. 更紧致的界：相比原始PPO，提供了更紧密的性能下界保证
3. 更平滑的更新：避免PPO中的非光滑截断点

5. PPO全局收敛性证明

5.1 早期结果：平稳点收敛

Jin、Li与Wang在ICLR 2024的工作³首次建立了PPO的一阶平稳点收敛性：

定理（平稳点收敛）：

对于使用线性函数逼近的MDP，PPO-Clip以 $O(1/\sqrt{T})$ 的速率收敛到一阶平稳点：

$$\underset{0\le t<T}{\min }\mathbb{E}\left[\Vert {\nabla }_{\theta }{L}^{\text{CLIP}}({\theta }_t){\Vert }^2\right]\le O\left(\frac{1}{\sqrt{T}}\right)$$

5.2 突破：全局收敛

Liu等人⁴在arXiv 2512.16565中证明了PPO-Clip的全局收敛性：

定理（全局收敛）：

对于具有有限状态空间的MDP，PPO-Clip经过 $O(1/{ϵ}^2)$ 迭代后，以概率至少 $1-\delta$ 达到 $ϵ$-最优策略。

关键证明技术：

1. 策略改进的下界：建立每次PPO更新带来的策略质量下界
2. 循环不等式：证明策略价值序列单调递增
3. Lyapunov函数：构造合适的Lyapunov函数证明有界性

5.3 反向KL正则化的视角

Döring等人⁵提出”近似上升”（Approximate Ascent）技术，给出了更清晰的理论解释：

核心思想：

PPO的截断可以被理解为在每次更新时执行一个近似上升步骤，其中近似程度由截断参数 $ϵ$ 控制。

设 ${\theta }_{\text{new}}=\arg {\max }_{\theta }{L}^{\text{CLIP}}(\theta )$，则：

$$J({\theta }_{\text{new}})\ge J({\theta }_{\text{old}})+\eta \cdot \mathbb{E}\left[{\hat{A}}_t\right]-O({ϵ}^2)$$

其中 $\eta$ 是学习率，$O({ϵ}^2)$ 是近似误差项。

6. 理论与实践的差距

尽管理论取得了重大进展，但仍存在理论与实践之间的差距：

方面	理论假设	实际实践
函数逼近	线性函数逼近	深度神经网络
优势估计	精确已知	GAE等估计
采样	无限样本	有限样本方差
收敛速率	$O(1/{ϵ}^2)$	实际收敛更快

6.1 深度网络的影响

深度神经网络作为函数逼近器时，Fisher信息矩阵的维度极高（参数量级别），直接计算不可行。实践中使用的对角近似或Kronecker分解可能影响几何性质。

6.2 方差缩减技术

理论分析假设无限样本。实际中需要结合方差缩减技术：

• 优势标准化
• 基线函数
• 重要性采样修正

7. 总结与展望

7.1 核心结论

1. Fisher-Rao几何解释：PPO的截断机制具有清晰的几何意义，可以理解为Fisher-Rao距离约束
2. 全局收敛已证明：对于有限状态MDP，PPO-Clip全局收敛到最优策略
3. 理论与实践趋同：虽然仍有差距，但理论为实践提供了越来越可靠的指导

7.2 开放问题

1. 深度网络下的收敛性：如何将全局收敛结果推广到非线性函数逼近？
2. 超参数选择：如何从理论上确定最优的截断参数 $ϵ$？
3. 与其他算法的联系：PPO与TRPO、ACKTR等算法在几何框架下的统一？

7.3 实践建议

基于最新理论，在使用PPO时可以考虑：

1. 使用Fisher-Rao距离监控：替代KL散度作为策略变化的度量
2. 自适应截断参数：根据Fisher-Rao距离动态调整 $ϵ$
3. 结合自然梯度：在计算资源允许时考虑自然梯度方向

参考文献

Footnotes

1. Schulman, J. et al. (2017). “Proximal Policy Optimization Algorithms.” arXiv:1707.06347. ↩

2. Lascu, R. et al. (2025). “Fisher-Rao PPO: A Geometric Perspective on Proximal Policy Optimization.” ICLR 2025. arXiv:2506.03757. ↩ ↩²

3. Jin, P., Li, J., & Wang, B. (2024). “On Stationary Point Convergence of PPO-Clip.” ICLR 2024. ↩

4. Liu, B. et al. (2025). “Non-Asymptotic Global Convergence of PPO-Clip.” arXiv:2512.16565. ↩

5. Döring, M. et al. (2026). “An Approximate Ascent Approach To Prove Convergence of PPO.” arXiv:2602.03386. ↩