无折扣策略梯度理论（γ=1）

经典策略梯度理论假设折扣因子 $\gamma <1$，这在许多实际应用（如LLM微调）中并不成立。Lee & Ryu (2025) 提供了首个无折扣MDP策略梯度的严格理论分析。

1. 为什么需要 γ=1 理论？

1.1 LLM微调中的问题

在大语言模型（LLM）的强化学习微调中：

• 序列级奖励：奖励在整个序列末尾给出
• 无折扣目标：每个token对最终结果的贡献同等重要
• 实践中使用 $\gamma =1$ 或 $\gamma \approx 1$

1.2 传统理论的局限性

设置	传统理论	无折扣设置
折扣	$\gamma <1$	$\gamma =1$
回报	$G_t=\sum {\gamma }^k{R}_{t+k}$	$G_t=\sum R_{t+k}$
值函数	有界	可能无界
收敛性	已有证明	缺失

1.3 核心挑战

1. 值函数无界：$V^{\pi }(s)$ 可能趋向无穷
2. 状态访问分布：不再存在唯一的平稳分布
3. 振荡行为：策略可能在状态间振荡

2. 瞬态访问测度

2.1 状态分类

在无折扣设置下，状态分为两类：

类型	定义	性质
瞬态状态	从起始状态出发，期望访问次数有限	最终离开
常返状态	期望无限次访问	形成环

2.2 瞬态访问测度定义

定义（瞬态访问测度）：
对于起始分布 $\rho$ 和策略 $\pi$，定义：

$${\mu }_{\rho }^{\pi }(s)={\mathbb{E}}_{\pi }\left[\sum _{t=0}^{\infty }1(S_t=s)|S_0\sim \rho \right]$$

物理意义：从起始分布出发，状态 $s$ 的期望累积访问次数。

2.3 关键引理

引理（瞬态访问的不变性）：
对于具有全支持的随机策略（softmax策略），瞬态-常返分类不依赖于策略。

即：若状态 $s$ 对某策略是瞬态的，则对所有具有全支持的策略都是瞬态的。

证明思路：

• Softmax策略 ${\pi }_{\theta }(a|s)>0$ 对所有动作成立
• 存在从任意状态到达任意其他状态的非零概率路径
• 因此状态分类由MDP拓扑决定，与特定策略无关

3. 无折扣目标函数

3.1 累积平均回报目标

由于 $\gamma =1$，定义长期平均回报：

$$\bar{J}(\theta )=\underset{T\to \infty }{\lim }\frac{1}{T}{\mathbb{E}}_{\pi }\left[\sum _{t=0}^{T-1}{R}_t\right]$$

3.2 瞬态目标函数

另一种选择是只关注瞬态状态的回报：

$$J(\theta )={\mathbb{E}}_{\pi }\left[\sum _{t=0}^{\infty }(R_t-{\bar{r}}^{\pi })|S_0\sim \rho \right]$$

其中 ${\bar{r}}^{\pi }$ 是平均奖励。

3.3 Lee & Ryu 目标

论文使用瞬态累积奖励：

$$J(\theta )={\mathbb{E}}_{\pi }\left[\sum _{t=0}^{\infty }{R}_t\cdot w(S_t)|S_0\sim \rho \right]$$

其中 $w(s)$ 是权重函数，$w(s)=1$ 对瞬态状态，$w(s)=0$ 对常返状态。

4. 策略梯度定理（无折扣）

4.1 定理陈述

定理（无折扣策略梯度定理）：
对于无折扣MDP和瞬态目标函数，策略梯度为：

$${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{\pi }\left[\sum _{t=0}^{\infty }{\nabla }_{\theta }\log {\pi }_{\theta }(A_t|S_t)\cdot {\Psi }_t\right]$$

其中 ${\Psi }_t$ 是瞬态回报：

$${\Psi }_t=\sum _{k=t}^{\infty }{R}_k\cdot w(S_k)$$

4.2 证明概要

1. 瞬态访问测度的递归形式：

$${\mu }_{\rho }^{\pi }(s)=\rho (s)+\sum _{s^{\prime }}{\mu }_{\rho }^{\pi }(s^{\prime })\cdot \sum _a\pi (a|s^{\prime })\cdot T(s|s^{\prime }|a)$$

2. 目标函数的梯度：

$${\nabla }_{\theta }J=\sum _s{\mu }_{\rho }^{\pi }(s)\sum _a{\nabla }_{\theta }\pi (a|s)\cdot Q^{\pi }(s,a)$$

3. 对数梯度恒等式：同折扣情况

4. 期望展开：得到最终的梯度表达式

4.3 与折扣情况的对比

方面	折扣设置	无折扣设置
值函数	$V^{\pi }(s)$ 有界	可能无界
状态分布	平稳分布 $d^{\pi }(s)$	瞬态访问测度 ${\mu }_{\rho }^{\pi }(s)$
梯度形式	相似	需要修正
收敛性	已有	新理论保证

5. 瞬态相对值函数

5.1 相对值函数定义

定义瞬态相对值函数：

$$h^{\pi }(s)={\mathbb{E}}_{\pi }\left[\sum _{t=0}^{\infty }(R_t-{\bar{r}}^{\pi })|S_0=s\right]$$

其中 ${\bar{r}}^{\pi }={\sum }_s{d}^{\pi }(s)\cdot r(s,\pi (s))$。

5.2 Bellman方程

$$h^{\pi }(s)=r(s,\pi (s))-{\bar{r}}^{\pi }+\sum _{s^{\prime }}T(s^{\prime }|s,\pi (s))\cdot h^{\pi }(s^{\prime })$$

5.3 优势函数形式

在无折扣设置下：

$$A^{\pi }(s,a)=Q^{\pi }(s,a)-V_{avg}^{\pi }(s)=h^{\pi }(s,a)-h^{\pi }(s)$$

6. 收敛性分析

6.1 收敛定理

定理（无折扣策略梯度收敛）：
在以下条件下，策略梯度方法收敛到局部最优策略：

1. MDP的瞬态-常返分类存在
2. 策略是softmax参数化
3. 学习率满足Robbins-Monro条件
4. 瞬态值函数 $h^{\pi }$ 有界

6.2 收敛速率

论文给出的收敛速率为 $O(1/\sqrt{T})$（期望意义上）。

6.3 与LLM微调的关联

LLM生成序列: [token_1, token_2, ..., token_N]
                ↓         ↓            ↓
              R=0        R=0         R=reward

γ = 1: 每个token对最终奖励同等重要

7. 实用意义

7.1 理论基础

• 首次为LLM微调中使用的$\gamma =1$设置提供了理论保证
• 解释了为什么实践中策略梯度在LLM微调中有效
• 指出了可能的失效情况

7.2 实践指导

1. 状态分类：识别瞬态vs常返状态
2. 权重设计：对不同状态使用不同权重
3. 收敛监测：监控瞬态值函数的稳定性

7.3 未来方向

1. 扩展到部分可观测MDP（POMDP）
2. 处理奖励稀疏问题
3. 分析更复杂的策略参数化

8. 代码示例

import torch
import torch.nn as nn
 
class UndiscountedPG:
    def __init__(self, policy, optimizer, lr):
        self.policy = policy
        self.optimizer = optimizer
        
    def compute_transient_returns(self, rewards, weights):
        """计算瞬态回报"""
        returns = []
        G = 0
        for r, w in zip(reversed(rewards), reversed(weights)):
            G = r * w + G
            returns.insert(0, G)
        return torch.tensor(returns, dtype=torch.float32)
    
    def update(self, states, actions, rewards, weights):
        """无折扣策略梯度更新"""
        returns = self.compute_transient_returns(rewards, weights)
        
        log_probs = self.policy.log_prob(states, actions)
        loss = -(log_probs * returns).sum()
        
        self.optimizer.zero_grad()
        loss.backward()
        self.optimizer.step()
        
        return loss.item()

9. 与其他工作的联系

9.1 REINFORCE with Any LR

Robertson et al. (NeurIPS 2025) 证明REINFORCE在任意学习率下收敛，与本文的无折扣分析互补。

9.2 Post-Training Theory

Mousavi-Hosseini & Erdogdu (2026) 进一步分析了LLM后训练的基模型壁垒问题。

9.3 Base Model Barrier

$$\text{总误差}\ge f(\text{Likelihood Quantile of Base Model})$$

10. 参考文献

---

相关主题：策略梯度定理 | REINFORCE任意学习率收敛 | PPO全局收敛性理论