DDPG、TD3 与 SAC

DDPG 把 DQN 推广到连续动作：actor 输出确定性动作，critic 评估。TD3 用双 critic、延迟更新、目标平滑修复高估；SAC 引入最大熵目标获得更稳的探索与鲁棒性。本章比较三者并给出 SAC 成为默认选择的原因。

DDPG：确定性策略梯度

DDPG (Deep Deterministic Policy Gradient, Lillicrap et al., 2016) 把 DQN 的机制搬到连续动作：actor $\pi_\phi(s)$ 输出确定性动作，critic $Q_\theta(s, a)$ 评估；训练沿 DQN 的思路——replay buffer、目标网络——加上策略梯度：

$\nabla_\phi\, J \approx \mathbb{E}_{s \sim \mathcal{D}}\big[\, \nabla_a\, Q_\theta(s, a)\big|_{a = \pi_\phi(s)}\, \nabla_\phi\, \pi_\phi(s) \,\big],$

即 critic 对动作的梯度直接流向 actor。确定性梯度没有采样噪声（方差小），但带来两个问题：探索不足（确定性策略需要外加噪声，通常用 OU 过程），以及 critic 的 max 被确定性 actor 近似后高估在连续控制中依旧存在并被自举放大。DDPG 以不稳定著称：超参敏感、结果难以复现。

TD3：修复三个失败模式

TD3 (Twin Delayed DDPG, Fujimoto et al., 2018) 用三个技巧，各自针对一个失败模式：

Clipped Double Q：学两个独立初始化的 critic $Q_1, Q_2$ ，TD 目标取较小者 $y = r + \gamma \min_{i} Q_{\theta_i'}(s', \pi_{\phi'}(s'))$ 。两个估计的高估误差近似独立，取 min 系统性地偏向低估——用轻微低估的偏差换取高估被压制（高估比低估更危险：会被自举指数放大）。
延迟策略更新：critic 每步更新、actor 与目标网络每数步更新一次。让价值估计先稳定、再驱动策略——降低更新间的耦合振荡。
目标策略平滑：TD 目标里的动作加截断噪声 $\tilde{a} = \pi_{\phi'}(s') + \mathrm{clip}(\epsilon, -c, c)$ ，惩罚 critic 对动作空间的尖锐峰值拟合——一种针对确定性策略的正则化。

三者都是一行改动级别的工程修正，组合后 TD3 在 MuJoCo 上稳定超过 DDPG。

SAC：最大熵目标

SAC (Soft Actor-Critic, Haarnoja et al., 2018) 换了目标函数：不再是纯期望回报，而是最大熵 RL：

$J(\pi) = \mathbb{E}\Big[\, \sum_t \big(\, r_t + \alpha\, \mathcal{H}\big(\pi(\cdot \mid s_t)\big) \,\big) \Big],$

其中 $\mathcal{H}$ 是策略熵、 $\alpha$ 是温度。策略被鼓励"在回报相近的动作中保持随机"：

探索内置：熵奖励使策略天然保持随机性，不再需要外加探索噪声；
鲁棒性：最大熵策略对环境扰动与模型误差更稳健（学到的策略覆盖更多"差不多好"的行为）；
温度自动调节： $\alpha$ 通过约束"熵不小于目标值"的拉格朗日对偶自动学习，不再手动调探索超参；
双 critic：继承 TD3 的 clipped double Q。

随机 actor + 双 critic + 自动温度，使 SAC 在 MuJoCo 类任务上成为默认选择：稳定、少调参、样本效率高（off-policy 回放）。

三者的比较

	DDPG	TD3	SAC
策略	确定性	确定性	随机（最大熵）
探索	外加噪声	外加噪声	熵内置
高估控制	无	双 critic 取 min	双 critic 取 min
温度	—	—	自动调节
稳定性	差	好	最好

定位

这族方法的核心是 off-policy actor-critic：回放缓冲提供样本效率（→ 连续动作空间的值方法中"actor 近似 argmax"的角色）。与 on-policy 的 PPO 相比：样本效率高得多，但对超参与实现细节更敏感。在 RLHF 场景中，on-policy 稳定性比样本效率更重要，因此 PPO 而非 SAC 成为主角（→ PPO for LLM）。

本章要点

TD3 的三个技巧各自针对一个失败模式
SAC 的温度参数自动调节
离线数据复用是这族方法样本效率高的原因