MuZero：学习用于规划的模型

MuZero 学习一个只预测奖励、价值与策略的隐空间动力学，无需已知规则，在 Atari 与棋类上同时达到顶尖。本章讲其表示/动力学/预测三网络、训练目标，以及 Stochastic MuZero、EfficientZero 等扩展。

不学规则，学"对决策有用的规则"

AlphaZero 的前提是规则已知（→ MCTS 与 AlphaZero）。MuZero (Schrittwieser et al., 2020) 的改动：规则也学出来。但它不学完整的环境模型（不预测下一帧观测），而是学一个隐空间动力学——在隐状态上预测三样东西：奖励、价值、策略。

核心洞察是价值等价（value equivalence）原理：规划需要的不是"模型在预测上正确"，而是"模型在对决策有用的意义上正确"。预测像素是对决策无用的工作——它逼模型记住与胜负无关的细节，浪费容量并引入误差。MuZero 只学决策需要的部分，模型的误差因此不传播到与决策无关的维度。

三个网络与训练目标

MuZero 由三个网络组成，共享一个隐空间：

• 表示网络 $h$：把观测 $o$ 编码为隐状态 $s$；
• 动力学网络 $g$：在隐状态上预测下一步隐状态与即时奖励：$s', \hat{r} = g(s, a)$；
• 预测网络 $f$：从隐状态预测策略 $p$ 与价值 $v$。

规划循环与 AlphaZero 相同：MCTS 在隐空间里用 $g$ 滚动、用 $f$ 评估叶节点、用 PUCT 引导选择——只是"规则"换成了学到的 $g$。

训练目标在自博弈轨迹的每一步上：对每个搜索到的隐状态，回归三样东西——搜索输出的改进策略、真实的累积奖励、真实的最终胜负（$z$）。学习在想象轨迹与真实轨迹上交替进行，与 AlphaZero 的精神一致，只是把"规则"从输入变成了输出。

成绩与意义

MuZero 在 Atari 与围棋、国际象棋、将棋上同时达到顶尖——这是第一个不依赖已知规则、又在完全不同性质的环境（视频游戏 + 棋类）上同时工作的算法。棋类上用与 AlphaZero 相当的算力，Atari 上则免去了"为每个游戏手写规则"的工作。

扩展

• Stochastic MuZero：动力学分出确定与随机两个分支，处理随机环境（Atari 的随机性）；
• EfficientZero (Ye et al., 2021)：配合自监督价值传播、重排版观测等改进，把 Atari 100k（限 10 万步交互）的成绩推到当时最高——样本效率是它证明的重点，说明隐空间模型 + 搜索的路线在小样本下同样有效；
• 后续工作把 MuZero 的思想推广到连续控制与离线设定。

定位

MuZero 回答了第五卷导读的问题：模型要学到什么程度才够？答案是不需要"正确的模型"，只需要"对决策有用的模型"。与 Dreamer（→ Dreamer：在潜空间想象中学习）相比：Dreamer 学重建（表示学习信号更丰富），MuZero 学价值等价（更省容量、更面向规划）。

本章要点

• 模型只需在"对决策有用"的意义上正确
• 价值等价（value equivalence）原理
• EfficientZero 在 Atari 100k 上的样本效率