里程碑：从 TD-Gammon 到 AlphaStar
TD-Gammon、Atari DQN、AlphaGo/AlphaZero、OpenAI Five、AlphaStar、MuZero、ChatGPT（RLHF）、DeepSeek-R1。本章复盘每个里程碑的技术关键、算力规模，以及哪些方法被后续沿用。
时间线与复盘
Section titled “时间线与复盘”TD-Gammon (1992)：Tesauro 的双陆棋程序，TD(λ) 从零自博弈学到超人类水平。意义：第一次证明"自举 + 自博弈"可以走通；留下的疑问：为什么双陆棋行（随机性掩盖了循环）、其他游戏不行——这个问题要到自博弈理论（→ 自博弈与 PSRO）成熟才被回答。被沿用：自博弈作为训练范式。
Atari DQN (2013/2015)：像素输入 + Q-learning + 经验回放 + 目标网络，在数十个 Atari 游戏上用同一套架构工作。意义：深度 RL 的"通用性"宣言（一个网络、多个游戏）；技术关键：经验回放与目标网络（→ DQN 及其改进）。被沿用：回放与目标网络成为 off-policy 深度 RL 的标配。
AlphaGo (2016)：围棋——MCTS + 策略/价值网络 + 先模仿人类棋谱再自博弈。意义：RL 第一次在"直觉被认为不可计算"的领域超越人类；算力规模：数十 GPU 数周 + 数千 CPU 的搜索。被沿用：搜索与学习结合的范式。
AlphaZero (2017)：去掉人类棋谱，纯自博弈 + 搜索，在国际象棋、将棋、围棋上同时超人类。技术关键：价值网络代替 rollout、PUCT 引导（→ MCTS 与 AlphaZero）；意义：证明"从零开始"的可行性——人类知识不是必需的。被沿用：自博弈 + 搜索的训练循环成为棋类标配。
OpenAI Five (2018) 与 AlphaStar (2019)：Dota 2 与星际争霸 II——大规模并行采样成为主角：OpenAI Five 每天数百年的游戏经验（数千 CPU + 数百 GPU 的 PPO），AlphaStar 用联赛训练 + 剥削者角色处理多智能体的循环问题（→ 自博弈与 PSRO）。意义：算力换样本的宣言——算法没变多少，规模变了。被沿用：大规模并行采样是后续所有里程碑的基础设施。
MuZero (2019/2020)：规则也学出来——隐空间动力学 + 搜索，在 Atari 与棋类上同时顶尖（→ MuZero：学习用于规划的模型）。意义：模型只需"对决策有用"的正确。被沿用：价值等价原理、EfficientZero 的样本效率方向。
InstructGPT / ChatGPT (2022)：RLHF 三阶段（SFT → 奖励模型 → PPO，→ RLHF 全流程）让大模型对齐人类偏好。意义：RL 走出游戏——从可精确验证的环境走向人类偏好作为奖励；基础设施：四个模型并存的调度（→ PPO for LLM）。被沿用：RLHF 成为所有对话模型的标配。
DeepSeek-R1 (2025)：GRPO + 可验证奖励（RLVR）训练出长思维链的推理模型（→ GRPO 与可验证奖励）。意义：奖励可以规则化（数学、代码自动验证），绕开奖励模型的漏洞；工程：去掉价值网络的 GRPO 让训练成本可控。被沿用：RLVR 成为推理模型的标准训练配方。
复盘后的规律：
- 自博弈 + 搜索的组合被反复验证：TD-Gammon → AlphaGo/Zero → AlphaDev → R1，"对手/环境生成数据、搜索/验证改进策略"的循环被换着形式用了三十年；
- 大规模并行采样是多个里程碑的共同基础：OpenAI Five 之后，"算力换样本"成为隐含前提——算法进步与算力规模不可分割；
- 奖励从哪里来，决定了方法族：可精确验证（游戏胜负、单元测试、数学答案）→ 自博弈 + 搜索 + RLVR；只有人类偏好 → 奖励模型 + RLHF（及其黑客问题，→ 奖励黑客与对齐税）；
- RLHF 与 RLVR 让 RL 走出游戏：走出游戏后，奖励设计与奖励黑客成为核心问题——经典 RL 的结论（探索、信用分配、代理优化）在这里全部重现。
- 自博弈 + 搜索的组合被反复验证
- 大规模并行采样是多个里程碑的共同基础
- RLHF 与 RLVR 让 RL 走出游戏