好奇心与预测误差：ICM 与 RND

ICM 用逆动力学特征上的前向预测误差作为奖励，过滤掉不可控的噪声；RND 用随机网络蒸馏误差作为新颖度，简单且有效。本章比较两者，讨论"噪声电视"问题与内在奖励的非平稳性。

好奇心：预测误差作为奖励

好奇心（curiosity）的直觉：预测不准的地方值得去。智能体学一个前向模型 $\hat{s}' = f(s, a)$ ，用预测误差 $\lVert \hat{s}' - s' \rVert^2$ 作为内在奖励——去模型预测不准的地方，学得快的地方就不去了。

直接在像素空间算预测误差有致命缺陷：像素级误差大部分来自不可控的噪声（风吹草动、其他物体移动、光照变化），与智能体的行为无关。ICM (Pathak et al., 2017) 的修复：

学一个逆动力学模型 $g$ ：从 $(s, s')$ 预测动作 $a$ ——逆动力学逼特征空间只保留智能体可控的信息（行为能影响的维度才能预测动作）；
在这个特征空间 $\phi(s)$ 里算前向预测误差：

$r^+ = \eta\, \big\lVert \hat{\phi}(s_{t+1}) - \phi(s_{t+1}) \big\rVert^2, \qquad \hat{\phi}(s_{t+1}) = f\big(\phi(s_t), a_t\big).$

可控信息的误差 = 好奇心，不可控噪声被逆动力学过滤。ICM 在稀疏奖励的游戏上显著超越基线，是"好奇心"路线的标志性方法。

RND (Random Network Distillation, Burda et al., 2018) 更简单：固定一个随机初始化的目标网络 $g^*$ ，学一个预测器 $f_\theta$ 去拟合 $g^*$ 的输出；用拟合误差作为新颖度：

$r^+(s) = \big\lVert f_\theta(s) - g^*(s) \big\rVert^2.$

直觉：没见过的状态上预测器拟合得差（误差大），见多了误差收敛到小值。为什么随机网络可行：目标网络虽然随机，但它定义了一个固定的函数——任何输入都能算出目标输出，"拟合得好不好"就变成"见过没有"的代理。

RND 的优点：没有前向模型要训（更稳定）、没有"预测什么"的设计选择（目标固定）、实现极简。缺点：对表示极其敏感——目标网络作用在什么表示上（原始像素还是学到的特征）决定新颖度度量是否合理。

预测误差方法的经典失效模式：不可控的随机源会让策略上瘾。标准实验（"噪声电视"）：环境里放一台播放随机噪声的电视——随机噪声永远预测不准（真随机），预测误差永远很高，策略学会盯着电视不走，任务彻底荒废。

内在奖励引入非平稳性：什么是"新鲜的"随策略进步而变，探索奖励本身随学习衰减——训练目标在漂移，给优化引入额外不稳定。实践配方：

好奇心与 RND 是"预测不准的地方值得去"路线：与计数（去得少的给奖励）、信息增益（贝叶斯不确定性）同属内在奖励家族。ICM 的可控性过滤与 RND 的极简实现，使这一路线成为高维像素探索的实用默认。