好奇心与预测误差：ICM 与 RND
ICM 用逆动力学特征上的前向预测误差作为奖励，过滤掉不可控的噪声；RND 用随机网络蒸馏误差作为新颖度，简单且有效。本章比较两者，讨论”噪声电视”问题与内在奖励的非平稳性。
- 随机性高的状态会让预测误差方法上瘾（噪声电视）
- RND 避免了随机性问题但对表示敏感
- 内在与外在奖励的价值头分开估计
ICM 用逆动力学特征上的前向预测误差作为奖励，过滤掉不可控的噪声；RND 用随机网络蒸馏误差作为新颖度，简单且有效。本章比较两者，讨论”噪声电视”问题与内在奖励的非平稳性。