Actor-Critic 与 GAE

用学到的 $V$ 替代蒙特卡洛回报，得到 Actor-Critic；广义优势估计（GAE）用 $\lambda$ 在偏差与方差之间插值。本章讲 A2C/A3C 的同步/异步实现、GAE 的推导与 $\lambda$ 、 $\gamma$ 的选择。

用 critic 替代蒙特卡洛回报

REINFORCE 用完整蒙特卡洛回报 $G_t$ 估计梯度——无偏但高方差。Actor-Critic 的改动：学一个 critic $V_\phi(s)$ ，用 TD 式的 bootstrap 目标替代完整回报：

$\hat{A}_t = r_{t+1} + \gamma V_\phi(s_{t+1}) - V_\phi(s_t) = \delta_t,$

用 $\hat{A}_t$ 替代 $G_t - b(s_t)$ 作为优势估计。方差骤降（目标只含一步随机性），代价是引入偏差（依赖 $V_\phi$ 的准确度）。actor（策略）与 critic（价值）同时训练：actor 沿 $\nabla_\theta \log \pi \cdot \hat{A}$ 更新，critic 回归 TD 目标。

A2C 与 A3C

A3C（Asynchronous Advantage Actor-Critic, Mnih et al., 2016）：多个 worker 各持环境副本异步采样、各自计算梯度并异步更新共享参数。异步性打破样本相关，但梯度"过期"（基于旧参数计算）。

A2C（同步版）：所有 worker 同步采样一批、汇总梯度、统一更新。没有过期梯度问题，实现更简单，GPU 利用率更好，如今是默认选择。

on-policy 方法必须不断丢弃过期数据，因此并行环境数量直接决定样本吞吐——这是 on-policy 方法样本效率的工程关键（→ 向量化环境与分布式采样）。

GAE 的推导

一步 TD 误差 $\delta_t$ 偏差大（critic 不准）；蒙特卡洛优势 $G_t - V(s_t)$ 方差大。GAE（Generalized Advantage Estimation, Schulman et al., 2016）用 $\lambda$ 在两者之间插值——它是 TD(λ) 在优势估计上的对应物：

$\hat{A}_t^{\text{GAE}(\gamma,\lambda)} = \sum_{k=0}^{\infty} (\gamma \lambda)^k\, \delta_{t+k}.$

各端点的含义：

$\lambda = 0$ ： $\hat{A}_t = \delta_t$ ，纯一步 TD——偏差大、方差小；
$\lambda = 1$ ： $\hat{A}_t = G_t - V(s_t)$ ，蒙特卡洛优势——偏差小、方差大。

实现上用指数加权递推从后往前算： $\hat{A}_t = \delta_t + \gamma \lambda\, \hat{A}_{t+1}$ ，一步完成整条轨迹的估计。

λ 与 γ 的选择

$\lambda \approx 0.95$ 、 $\gamma \approx 0.99$ 是绝大多数任务的常见起点； $\lambda$ 偏向 1 偏差小、方差大，偏向 0 反之。
$\gamma$ 是任务视野（→ 马尔可夫决策过程），不是方差参数——不要用 $\gamma$ 调方差，那是 $\lambda$ 的工作。
critic 的解释方差（explained variance， $1 - \mathrm{Var}(\delta)/\mathrm{Var}(G)$ ）是判断 critic 质量的诊断量：接近 0 或为负说明 critic 没学到东西，GAE 的偏差来源就在这里（→ 超参数、稳定性与调试清单）。

定位

Actor-Critic 是策略方法的实用形态：REINFORCE + 基线 + bootstrap critic + GAE，构成从 PPO 到 RLHF 一直沿用的梯度估计流水线（→ TRPO 与 PPO）。off-policy 变体（DDPG/SAC）用回放缓冲替换 on-policy 采样，但 GAE 的思想不变。

本章要点

GAE(λ) 是 TD(λ) 在优势估计上的对应物
λ≈0.95、γ≈0.99 是常见起点
并行环境是 on-policy 方法样本效率的关键