策略梯度定理深度解析

策略梯度方法直接对策略进行优化，是现代强化学习的核心技术之一。

1. 策略梯度目标

1.1 平均值函数目标

$$J(\theta )={\mathbb{E}}_{s\sim d^{{\pi }_{\theta }},a\sim {\pi }_{\theta }(\cdot |s)}\left[V^{{\pi }_{\theta }}(s)\right]={\mathbb{E}}_{s\sim d^{{\pi }_{\theta }}}\left[Q^{{\pi }_{\theta }}(s,{\pi }_{\theta }(s))\right]$$

1.2 起始状态目标

$$J_0(\theta )=V^{{\pi }_{\theta }}(s_0)$$

1.3 平均奖励目标

$$\bar{J}(\theta )=\underset{T\to \infty }{\lim }\frac{1}{T}\mathbb{E}\left[\sum _{t=0}^{T-1}{R}_t\right]$$

2. 策略梯度定理

2.1 定理陈述

定理（策略梯度定理）：
对于可微策略 ${\pi }_{\theta }(a|s)$，策略梯度为：

$${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{s\sim d^{{\pi }_{\theta }},a\sim {\pi }_{\theta }(\cdot |s)}\left[{\nabla }_{\theta }\log {\pi }_{\theta }(a|s)\cdot Q^{{\pi }_{\theta }}(s,a)\right]$$

或等价形式：

$${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{s\sim d^{{\pi }_{\theta }},a\sim {\pi }_{\theta }(\cdot |s)}\left[{\nabla }_{\theta }\log {\pi }_{\theta }(a|s)\cdot A^{{\pi }_{\theta }}(s,a)\right]$$

2.2 证明（基于起始状态目标）

步骤1：对值函数求导

$$\begin{array}{rl}{\nabla }_{\theta }{V}^{{\pi }_{\theta }}(s)& ={\nabla }_{\theta }\left[\sum _a{\pi }_{\theta }(a|s)Q^{{\pi }_{\theta }}(s,a)\right]\\ & =\sum _a\left[{\nabla }_{\theta }{\pi }_{\theta }(a|s)Q^{{\pi }_{\theta }}(s,a)+{\pi }_{\theta }(a|s){\nabla }_{\theta }{Q}^{{\pi }_{\theta }}(s,a)\right]\end{array}$$

步骤2：使用对数梯度恒等式

$${\nabla }_{\theta }{\pi }_{\theta }(a|s)={\pi }_{\theta }(a|s){\nabla }_{\theta }\log {\pi }_{\theta }(a|s)$$

步骤3：Bellman方程代入

对 $Q^{{\pi }_{\theta }}$ 求导，利用 $Q^{{\pi }_{\theta }}(s,a)=r(s,a)+\gamma {\sum }_{s^{\prime }}T(s^{\prime }|s,a)V^{{\pi }_{\theta }}(s^{\prime })$：

$${\nabla }_{\theta }{Q}^{{\pi }_{\theta }}(s,a)=\gamma \sum _{s^{\prime }}T(s^{\prime }|s,a){\nabla }_{\theta }{V}^{{\pi }_{\theta }}(s^{\prime })$$

步骤4：递归展开

通过递归展开，得到：

$${\nabla }_{\theta }{V}^{{\pi }_{\theta }}(s)={\mathbb{E}}_{\tau \sim {\pi }_{\theta }}\left[\sum _{t=0}^{\infty }{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\cdot G_t|s_0=s\right]$$

其中 $\tau =(s_0,a_0,s_1,a_1,\dots )$ 是轨迹。

2.3 轨迹视角

$${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{\tau }\left[\sum _{t=0}^{T-1}{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\cdot G_t\right]$$

3. REINFORCE算法

3.1 蒙特卡洛策略梯度

def REINFORCE(env, policy, optimizer, num_episodes):
    for episode in range(num_episodes):
        trajectory = collect_episode(env, policy)
        G = 0
        
        for t in reversed(range(len(trajectory))):
            s, a, r = trajectory[t]
            G = r + gamma * G  # 计算回报
            
            # 策略梯度更新
            log_prob = policy.log_prob(s, a)
            loss = -log_prob * G  # 最大化回报 = 最小化负回报
            optimizer.zero_grad()
            loss.backward()
            optimizer.step()

3.2 梯度估计器

$$\hat{g}=\frac{1}{T}\sum _{t=0}^{T-1}{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\cdot G_t$$

3.3 收敛性条件

定理：若满足以下条件，REINFORCE几乎必然收敛到局部最优策略：

1. 学习率 ${\alpha }_t$ 满足 ${\sum }_t{\alpha }_t=\infty$, ${\sum }_t{\alpha }_t^2<\infty$
2. 策略可微且满足正则性条件

4. 方差缩减技术

4.1 基线（Baseline）

减去基线函数 $b(s)$ 不改变期望：

$$\mathbb{E}\left[{\nabla }_{\theta }\log {\pi }_{\theta }(a|s)\cdot b(s)\right]=0$$

证明：

$$\mathbb{E}\left[{\nabla }_{\theta }\log {\pi }_{\theta }(a|s)\cdot b(s)\right]=b(s)\cdot \sum _a{\nabla }_{\theta }{\pi }_{\theta }(a|s)=b(s)\cdot {\nabla }_{\theta }\sum _a{\pi }_{\theta }(a|s)=b(s)\cdot {\nabla }_{\theta }1=0$$

4.2 最优基线

最小化方差的最优基线：

$$b^{\ast }(s)=\frac{{\sum }_a\pi (a|s)\cdot Q(s,a)\cdot \Vert {\nabla }_{\theta }\log \pi (a|s){\Vert }^2}{{\sum }_a\pi (a|s)\cdot \Vert {\nabla }_{\theta }\log \pi (a|s){\Vert }^2}$$

实际中常用 $b(s)\approx V^{\pi }(s)$。

4.3 优势函数替换

$$\hat{g}=\mathbb{E}\left[{\nabla }_{\theta }\log \pi (a|s)\cdot A(s,a)\right]$$

使用优势函数 $A(s,a)=Q(s,a)-V(s)$ 可进一步降低方差。

5. Actor-Critic架构

5.1 基本思想

用Critic网络近似值函数，Actor网络更新策略：

组件	输出	目标
Actor (${\pi }_{\theta }$)	策略分布	最大化期望回报
Critic ($V_{\varphi }$)	值函数估计	最小化TD误差

5.2 策略梯度更新

$$\theta \leftarrow \theta +\alpha {\nabla }_{\theta }\log {\pi }_{\theta }(a|s)\cdot \hat{A}(s,a)$$

其中 $\hat{A}$ 由Critic估计。

5.3 Critic更新

# TD(0)更新
delta = r + gamma * V_phi(s_next) - V_phi(s)
phi = phi + beta * delta * grad_V_phi(s)

6. 自然策略梯度

6.1 Fisher信息矩阵

$$F(\theta )={\mathbb{E}}_{{\pi }_{\theta }}\left[{\nabla }_{\theta }\log {\pi }_{\theta }\cdot {\nabla }_{\theta }\log {\pi }_{\theta }^T\right]$$

6.2 自然梯度更新

$${\theta }_{t+1}={\theta }_t+\alpha F({\theta }_t{)}^{-1}{\nabla }_{\theta }J({\theta }_t)$$

6.3 KL散度约束

自然梯度等价于在策略分布的黎曼流形上进行最陡下降，相邻策略间的KL散度受约束：

$${\theta }_{t+1}=\arg \underset{\theta }{\max }J(\theta )\text{s.t.}{D}_{KL}({\pi }_{\theta }\Vert {\pi }_{{\theta }_t})\le ϵ$$

7. 信任域方法

7.1 信任域策略优化（TRPO）

$${\theta }_{t+1}=\arg \underset{\theta }{\max }{\mathbb{E}}_{s,a\sim {\pi }_{{\theta }_t}}\left[\frac{{\pi }_{\theta }(a|s)}{{\pi }_{{\theta }_t}(a|s)}{\hat{A}}_{{\theta }_t}(s,a)\right]$$ $$\text{s.t.}{\mathbb{E}}_{s\sim {\pi }_{{\theta }_t}}\left[D_{KL}({\pi }_{\theta }(\cdot |s)\Vert {\pi }_{{\theta }_t}(\cdot |s))\right]\le \delta$$

7.2 共轭梯度求解

使用共轭梯度法高效求解约束优化问题。

7.3 线搜索

为保证约束满足，执行线搜索：

for alpha in [1, 0.5, 0.25, ...]:
    theta_new = theta + alpha * delta_theta
    if KL_check(theta, theta_new) and improvement():
        theta = theta_new
        break

8. GAE优势估计

8.1 n步优势估计

$${\hat{A}}_t^{(n)}=\sum _{k=0}^{n-1}{\gamma }^k{\delta }_{t+k}$$

8.2 GAE定义

$${\hat{A}}_t^{GAE}(\gamma ,\lambda )=(1-\lambda )\sum _{n=1}^{\infty }{\lambda }^{n-1}{\hat{A}}_t^{(n)}$$

物理意义：

• $\lambda =0$：$\hat{A}={\delta }_t$（TD(0)）
• $\lambda =1$：$\hat{A}={\sum }_{k=0}^{\infty }{\gamma }^k{\delta }_{t+k}=G_t-V(s_t)$（蒙特卡洛）

8.3 偏差-方差权衡

$\lambda$	偏差	方差
低	低偏差	高方差
高	高偏差	低方差

9. 与深度学习的联系

9.1 策略网络架构

class PolicyNetwork(nn.Module):
    def __init__(self, state_dim, action_dim, hidden_dim=128):
        super().__init__()
        self.net = nn.Sequential(
            nn.Linear(state_dim, hidden_dim),
            nn.ReLU(),
            nn.Linear(hidden_dim, hidden_dim),
            nn.ReLU(),
            nn.Linear(hidden_dim, action_dim)
        )
    
    def forward(self, x):
        return self.net(x)
    
    def log_prob(self, x, action):
        logits = self.forward(x)
        dist = Categorical(logits=logits)
        return dist.log_prob(action)

9.2 PyTorch实现

def update_policy(policy, optimizer, states, actions, returns):
    log_probs = policy.log_prob(states, actions)
    
    # 使用返回作为基线
    loss = -(log_probs * returns).mean()
    
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

10. 现代变体

10.1 PPO (Proximal Policy Optimization)

引入裁剪机制限制策略更新幅度：

$$L^{CLIP}(\theta )={\mathbb{E}}_t\left[\min \left(r_t(\theta ){\hat{A}}_t,\text{clip}(r_t(\theta ),1-ϵ,1+ϵ){\hat{A}}_t\right)\right]$$

其中 $r_t(\theta )=\frac{{\pi }_{\theta }(a_t|s_t)}{{\pi }_{{\theta }_{old}}(a_t|s_t)}$。

10.2 AWR (Advantage-Weighted Regression)

$${\theta }_{new}=\arg \underset{\theta }{\max }{\mathbb{E}}_{(s,a)\sim D}\left[\frac{1}{Z(s)}\exp (\beta \hat{A}(s,a))\log {\pi }_{\theta }(a|s)\right]$$

11. 参考文献

---

相关主题：MDP数学基础 | PPO全局收敛性理论 | 无折扣策略梯度理论