算法地图

价值方法学 $Q$ ，策略方法学 $\pi$ ，基于模型的方法学 $P$ 与 $R$ ；在线 vs 离线、on-policy vs off-policy 是另外两个正交维度。本章给出全书各卷在这张地图上的位置。

按"学什么"分类

RL 算法最自然的分类是问：它直接学习的是什么量？

学价值 $Q$ （或 $V$ ）：解 Bellman 方程，策略从价值中贪心导出。表格情形是 Q-learning，深度情形是 DQN 家族（→ 第三卷）。赌注是"解方程比直接优化容易"。
学策略 $\pi$ ：直接对策略参数求梯度，价值只作为辅助（critic）。从 REINFORCE 到 PPO、SAC（→ 第四卷）。赌注是"参数化本身已经包含先验（如动作分布的形状）"。
学环境 $P$ 与 $R$ （模型）：先学环境怎么运作，再用模型规划或生成数据。Dyna、MCTS、Dreamer（→ 第五卷）。赌注是"模型提供了一种不可从轨迹直接得到的监督信号"。

三个方向不是对立的，而是可组合的：Actor-Critic 同时学 $\pi$ 与 $V$ ；MuZero 同时学模型与价值；Dreamer 同时学模型、价值与策略。

On-policy vs off-policy：数据来自当前策略还是其他策略。

on-policy 方法（REINFORCE、A2C、PPO）只能用当前策略刚采的数据，旧数据一过期就必须扔掉——样本效率低，但训练稳定、偏差小。
off-policy 方法（Q-learning、DQN、SAC）可以复用旧数据或他人数据（回放缓冲、演示数据），样本效率高，但引入分布不匹配带来的偏差（致命三要素、重要性采样的方差）。

在线 vs 离线：能否与环境持续交互。在线 RL 边交互边学习；离线 RL 只有一个固定数据集，分布偏移成为核心困难（→ 第七卷）。离线是"更极端的 off-policy"：数据来自完全不同的策略，且没有纠正的机会。

这两个维度与"学什么"正交：PPO 是 on-policy 的策略方法，SAC 是 off-policy 的策略方法，CQL 是离线的价值方法，Cal-QL 是离线的……组合出整张地图。

纯方法在教科书中，混合方法在实践中：