策略梯度的理论问题

策略梯度在 softmax 参数化下的收敛速度、初始化导致的平坦区（plateau）、熵正则化对优化景观的改善。本章综述近年的理论进展及其对实践的启示。

收敛性：慢，且有平台

策略梯度是非凸优化，但它的行为比一般非凸问题更"讲道理"：在表格 softmax 参数化下，可以证明梯度上升收敛到全局最优（策略类足够丰富、目标单峰）。问题不在"是否收敛"，而在收敛速度：

$\Theta(1/\epsilon)$ 的样本复杂度：把次优性压到 $\epsilon$ 需要的样本量随 $1/\epsilon$ 增长（Agarwal et al. 2021 的教材有系统整理），远慢于有偏但更稳的方法在实践中的表现。
平台（plateau）：softmax 参数化下，若初始化让某个动作的概率非常接近 0， $\nabla \log \pi(a \mid s)$ 会被压得很小——概率小的动作难以翻盘。梯度信号与当前概率成正比，"从没试过的动作"几乎得不到提升。这是策略梯度版"探索不足"的优化景观解释：不是算法不想探索，是景观太平爬不动。

平台的严重性取决于初始化：初始化越尖锐（某些动作概率越低），平台越深。实践启示：

在目标里加熵奖励（最大熵 RL，SAC 的基础，→ DDPG、TD3 与 SAC）：

$J_{\tau}(\pi) = \mathbb{E}\Big[\, \sum_t r_t + \tau\, \mathcal{H}(\pi(\cdot \mid s_t)) \,\Big].$

熵正则对优化景观的改变：目标变得更"凸"（更平滑、单峰更明显），平台被填平（概率小的动作得到熵项的支撑），温度 $\tau \to 0$ 时退回原问题。这是"正则化改善景观"在 RL 中的对应物，也是 SAC 少调参的部分原因。

普通梯度依赖参数化——同一策略换一种参数化，梯度的方向与步长都不同，收敛速度天差地别。自然梯度（natural gradient, Kakade 2002）用策略分布空间的几何（Fisher 信息矩阵）度量步长：

$\theta_{k+1} = \theta_k + \eta\, F(\theta_k)^{-1}\, \nabla_\theta J(\theta_k),$

对策略的可逆重参数化不变，且一步的 KL 移动可控。TRPO 是它的带约束版本（→ TRPO 与 PPO）；PPO 的 clip 可以读作"放弃精确几何、用截断近似同样效果"的工程化。这一脉的思想（在分布空间而非参数空间度量步长）是策略梯度理论最重要的实践贡献。

诚实的注记：绝大多数策略梯度理论结果在表格或线性设定下证明——softmax 表格策略、精确期望、无函数逼近。深度 RL 的实践（神经网络、采样、自举、回放）远在这些结果之外。理论的启示因此是方向性的：