Policy Mirror Descent统一框架 放宽Bellman完备性

概述

Policy Mirror Descent（PMD）统一了策略优化中的多种方法，包括TRPO、PPO和自然梯度方法。2025年的理论突破首次在放宽Bellman完备性假设下证明了PMD的收敛性，为实践提供了更坚实的理论基础。¹

PMD基础框架回顾

Mirror Descent in Optimization

Mirror Descent（Mirror下降）由Nemirovski和Yudin在1978年提出，是一种利用Bregman散度定义非欧几里得几何的自适应优化方法。

给定凸函数 $f$ 和严格凸的Mirror Map $\Phi :\mathcal{X}\to \mathbb{R}$，Mirror Descent迭代为：

$$x_{k+1}=\arg \underset{x\in \mathcal{X}}{\min }\left\{⟨\nabla f(x_k),x-x_k⟩+\frac{1}{{\eta }_k}{D}_{\Phi }(x,x_k)\right\}$$

其中 $D_{\Phi }(x,y)=\Phi (x)-\Phi (y)-⟨\nabla \Phi (y),x-y⟩$ 是Bregman散度。

组件	作用
Mirror Map $\Phi$	定义几何结构（欧几里得、KL散度、Wasserstein等）
Bregman散度 $D_{\Phi }$	衡量两步之间的距离
步长 ${\eta }_k$	控制信任域大小

策略空间的Mirror Descent

将Mirror Descent应用于策略空间 $\Pi =\{\pi :{\sum }_a\pi (a|s)=1,\pi (a|s)\ge 0\}$，关键选择是Mirror Map：

1. KL散度作为Bregman散度

最常用的选择是KL散度：

$$D_{KL}({\pi }^{\prime }||\pi )=\sum _s\mu (s)\sum _a{\pi }^{\prime }(a|s)\log \frac{{\pi }^{\prime }(a|s)}{\pi (a|s)}$$

对应的Mirror Map为 $\Phi (\pi )={\sum }_s\mu (s){\sum }_a\pi (a|s)\log \pi (a|s)=-\mathcal{H}(\pi )$（负熵）。

2. PMD更新公式

给定当前策略 ${\pi }_k$，PMD通过以下步骤更新：

$${\tilde{\pi }}_{k+1}(a|s)={\pi }_k(a|s)\cdot \exp \left(\eta \cdot Q^{{\pi }_k}(s,a)\right)/Z_k(s)$$

其中 $Z_k(s)$ 是归一化常数。这等价于软最大化（softmax）操作。

投影回概率单纯形：

$${\pi }_{k+1}={\Pi }_{\mathcal{P}}({\tilde{\pi }}_{k+1})$$

信任域与自然梯度

信任域方法的核心思想是限制每次更新的幅度。TRPO通过KL散度约束：

$$\underset{\theta }{\max }{\mathbb{E}}_s\left[D_{KL}({\pi }_{{\theta }_{old}}(\cdot |s)||{\pi }_{\theta }(\cdot |s))\right]\le \delta$$

自然梯度利用Fisher信息矩阵定义的黎曼度量：

$$\tilde{g}=F(\theta {)}^{-1}{\nabla }_{\theta }J(\theta )$$

其中 $F(\theta )={\mathbb{E}}_{{\pi }_{\theta }}[{\nabla }_{\theta }\log {\pi }_{\theta }{\nabla }_{\theta }\log {\pi }_{\theta }^{\top }]$ 是Fisher信息矩阵。

关键联系：当Mirror Map选择为负熵时，PMD更新等价于自然梯度下降（忽略归一化常数）。²

ICML 2025突破: 放宽Bellman完备性

经典PMD理论的核心假设

传统PMD收敛性证明依赖以下关键假设：

假设1: Bellman完备性（B星级）

对所有 $\pi$，价值函数 $Q^{\pi }$ 是 $(s,a)$ 的线性函数，或等价的，价值函数空间对Bellman算子封闭。

假设2: 策略类完备性

策略类 $\Pi$ 足够丰富，可以精确表示最优策略。

这些假设在实际问题中通常不满足：

• 神经网络策略的函数近似下，Bellman完备性严格不成立
• 高维连续空间使得精确表示几乎不可能

Agnostic Setting下的收敛性证明

Sherman等人在ICML 2025的论文¹首次在agnostic setting下提供了PMD的收敛性保证：

Agnostic setting：不假设存在一个策略能在所有状态下取得最优；关注的是找到遗憾最小化的策略。

主要定理（简化版）

设 ${\pi }_1,{\pi }_2,\dots ,{\pi }_T$ 为PMD生成的策略序列，则：

$$\frac{1}{T}\sum _{t=1}^T{V}^{\ast }({\pi }_t)-V^{\ast }({\pi }^{\ast })\le \underset{\text{复杂度}}{\underbrace{O\left(\frac{\log T}{T}\right)}}+\underset{\text{逼近误差}}{\underbrace{O({\epsilon }_{\text{approx}})}}$$

其中 ${\epsilon }_{\text{approx}}$ 是由函数近似引入的误差项。

迭代复杂度: $\tilde{O}(1/{ϵ}^2)$

对于达到 $ϵ$-最优的策略，所需迭代次数为：

$$T=\tilde{O}\left(\frac{1}{{ϵ}^2}\right)$$

这个 $\tilde{O}$ 记号隐藏了对数因子和其他次要项。与经典结果相比：

设置	复杂度	假设
经典PMD	$O(1/ϵ)$	Bellman完备性
ICML 2025	$\tilde{O}(1/{ϵ}^2)$	放松假设

复杂度略有增加，但适用范围大幅扩展。

关键技术: 新的分析工具

论文引入了以下关键分析工具：

1. 对话式Bregman散度（Conversational Bregman Divergence）

定义新的散度度量：

$$D_{\Phi }^{\ast }(\pi ||{\pi }^{\prime })={\mathbb{E}}_{s\sim d^{{\pi }^{\prime }}}\left[D_{KL}({\pi }^{\prime }(\cdot |s)||\pi (\cdot |s))\right]$$

这个非对称散度更好地捕捉了策略更新方向。

2. 局部优势函数界

$$|A^{\pi }(s,a)|\le C\cdot \sqrt{D_{KL}(\pi (\cdot |s)||{\pi }_{old}(\cdot |s))}$$

建立了KL散度和优势函数之间的定量关系。

3. 双重随机矩阵理论

利用随机矩阵的谱性质分析价值函数的收敛。

统一框架视角

PPO、TRPO、NPG作为PMD特例

PMD框架能够统一多种策略优化方法：

方法	Mirror Map	更新形式
REINFORCE	欧几里得	$\pi \leftarrow \pi +\eta {\nabla }_{\theta }J$
NPG	负熵	$\pi \leftarrow \text{softmax}(\log \pi +\eta A)$
TRPO	负熵 + KL约束	${\pi }_{new}=\arg {\max }_{\pi :D_{KL}\le \delta }\mathbb{E}[A^{{\pi }_{old}}]$
PPO	负熵 + 裁剪	${\pi }_{new}=\text{clip}(\frac{{\pi }_{new}}{{\pi }_{old}},1-ϵ,1+ϵ)$

PPO与PMD的等价性

PPO的裁剪目标可以重新解释为PMD的近端形式：

$$L^{PPO}(\theta )={\mathbb{E}}_t\left[\min \left(r_t(\theta )A_t,\text{clip}(r_t(\theta ),1-ϵ)A_t\right)\right]$$

其中 $r_t(\theta )=\frac{{\pi }_{\theta }(a_t|s_t)}{{\pi }_{{\theta }_{old}}(a_t|s_t)}$ 是重要性采样比。这等价于在PMD更新中加入近端正则项。

不同Mirror Map的选择

Mirror Map的选择决定了算法的几何特性和收敛速度：

1. 负熵（Softmax）

$$\Phi (\pi )=-\sum _s\mu (s)\sum _a\pi (a|s)\log \pi (a|s)$$

• 优点：稀疏梯度，自然探索
• 适用：离散动作空间，需要熵正则化

2. L2范数（欧几里得）

$$\Phi (\pi )=\frac{1}{2}\Vert \pi {\Vert }_2^2$$

• 优点：简单，计算高效
• 适用：连续动作空间，稳定但探索不足

3. Wasserstein度量

$$\Phi (\pi )=W_2^2(\pi ,{\pi }_0)$$

• 优点：几何解释强，可利用最优传输理论
• 适用：需要强收敛保证的场景

信任域参数化的影响

硬约束 vs 软约束

类型	方法	特点
硬约束	TRPO	$D_{KL}\le \delta$，满足约束
软约束	PPO	$L^{CLIP}-c\cdot D_{KL}$，惩罚项

自适应约束

ICLR 2025的工作³提出了自适应信任域参数化：

$${\delta }_k={\delta }_0\cdot \exp \left(\beta \cdot \text{sign}(\Delta V_k)\right)$$

根据策略改进速度动态调整约束半径。

Learning Mirror Maps (ICLR 2025)

自适应几何设计

传统Mirror Map是手工设计的，忽略了任务特定的结构。Learning Mirror Maps的工作提出端到端学习最优几何：

可学习Mirror Map参数化

$${\Phi }_{\varphi }(\pi )=\sum _s\mu (s)\sum _a{f}_{\varphi }(\pi (a|s);s)$$

其中 $f_{\varphi }$ 是神经网络。

学习目标

$$\underset{\varphi }{\min }{\mathbb{E}}_{\text{task}}\left[V^{\ast }({\pi }_{\varphi })\right]+\lambda \cdot \text{Regularizer}({\Phi }_{\varphi })$$

正则项保证Mirror Map的凸性。

数据驱动的Mirror Map学习

元学习方法

在多个相关任务上学习Mirror Map，然后迁移到新任务：

1. 在任务分布 $\mathcal{T}$ 上采样 $N$ 个任务
2. 为每个任务优化策略 ${\pi }_{\theta }$ 和Mirror Map ${\Phi }_{\varphi }$
3. 评估在新任务上的泛化性能

在线适应

运行时根据数据分布调整几何结构：

$${\Phi }_{k+1}={\Phi }_k+\alpha \cdot {\nabla }_{\Phi }{L}_{\text{adapt}}({\mathcal{D}}_k)$$

Wasserstein Policy Optimization (ICML 2025)

Wasserstein梯度流视角

Wasserstein Policy Optimization (WPO)将策略优化重新解释为Wasserstein空间中的梯度流。⁴

Wasserstein距离

$$W_2(\mu ,\nu )={\left(\underset{\gamma \in \Gamma (\mu ,\nu )}{\inf }\int \Vert x-y{\Vert }^{2}d\gamma (x,y)\right)}^{1/2}$$

梯度流

策略的演化满足：

$$\frac{\partial {\pi }_t}{\partial t}=-{\nabla }_{W_2}J({\pi }_t)$$

其中 ${\nabla }_{W_2}$ 是Wasserstein空间中的梯度算子。

线性收敛保证

WPO在特定条件下提供线性收敛：

假设：强凹性

如果目标函数 $J$ 是 $\mu$-强凹的（相对于Wasserstein度量），则：

$$W_2({\pi }_t,{\pi }^{\ast })\le (1-\mu {)}^t\cdot W_2({\pi }_0,{\pi }^{\ast })$$

方法	收敛速度	假设
PPO/TRPO	$O(1/\sqrt{T})$	标准假设
PMD（经典）	$O(1/T)$	Bellman完备性
WPO	$O((1-\mu {)}^T)$	强凹性

实践意义与开放问题

算法选择指南

场景	推荐方法	理由
离散动作，稳定训练	PPO	工业标准，易调参
连续动作，高样本效率	SAC/Soft TD3	最大熵，探索好
理论保证优先	PMD理论版本	收敛性保证
大规模分布式	IMPALA + V-trace	高效并行
约束满足	CPO/PCPO	约束优化

超参数建议

基于理论分析的实用建议：

参数	建议范围	理论依据
KL目标	$10^{-3}$ ~ $10^{-2}$	与优势函数界匹配
熵系数	$10^{-3}$ ~ $10^{-1}$	防止策略退化
GAE $\lambda$	$0.9$ ~ $0.95$	偏差-方差权衡
折扣 $\gamma$	$0.99$ ~ $0.999$	任务依赖

开放问题

1. 深度理论融合：如何将Wasserstein几何与现代深度学习架构更紧密地结合？
2. 自适应复杂度：能否根据任务难度自动选择Mirror Map？
3. 分布式PMD：在异步分布式设置下的收敛性分析
4. Transformer策略：序列模型下的PMD理论

相关主题

• 策略梯度基础
• PPO算法详解
• Actor-Critic框架
• 最大熵RL理论
• 自然梯度与K-FAC

参考

Footnotes

1. Sherman et al., “Policy Mirror Descent without Bellman Completeness”, ICML 2025 ↩ ↩²

2. Kakade and Langford, “Natural Policy Gradient”, NeurIPS 2002 ↩

3. Adaptive Mirror Descent, ICLR 2025 ↩

4. Wasserstein Policy Optimization, ICML 2025 ↩