探索与利用

数据由策略自己产生，不探索就永远看不到更好的动作。本章介绍 $\epsilon$-greedy、乐观初始化、UCB 与 Thompson 采样的直觉，并说明为什么深度 RL 中的探索远比表格情形困难。

问题的本质

监督学习的损失由固定数据集决定；RL 的"数据"由策略自己产生。如果策略从不到达某个状态、从不尝试某个动作，关于它们的证据就永远是零——没有探索，就没有信息；没有信息，就无从改进。但探索有代价：把时间花在可能更差的动作上，短期回报下降。这就是探索与利用的权衡（exploration–exploitation tradeoff）：探索的代价是短期回报，收益是信息。

一个朴素的观察能说明问题的严重性：在稀疏奖励任务（只有到达终点才有奖励）中，若靠纯随机游走，期望到达时间随路径长度指数级增长。Montezuma's Revenge 之所以成为深度 RL 的标志性难题，正因为它把这一困难放到了高维像素世界里。

三类基础策略

$\epsilon$-greedy：以概率 $1 - \epsilon$ 执行当前最优动作，以概率 $\epsilon$ 均匀随机。实现最简单，但随机性不分场合——它对"去过一万次的次优动作"和"从没去过的动作"一视同仁，在稀疏奖励下几乎无效。

乐观初始化：把所有动作的初始价值设得比可能的高（乐观其成），贪心策略会先把这些"看起来很好"的动作各试一次，直到估计回落到真实值。它把探索转化为贪心利用的副产品，只适用于回合开始可控、奖励范围已知的情形。

不确定性原则（UCB）：不选"平均看起来最好"的，而选"上置信界最高"的：

$a_t = \arg\max_a \left[\, \hat{Q}_t(a) + c \sqrt{\frac{\log t}{N_t(a)}}\ \right],$

其中 $\hat{Q}_t(a)$ 是动作 $a$ 的经验均值，$N_t(a)$ 是它被选中的次数。访问越少，置信项越大，越容易被选中；被选多了，置信项收缩，回归均值比较。UCB1 在多臂老虎机上可证明 $O(\log T)$ 遗憾（→ 多臂老虎机）。

Thompson 采样：维护每个动作价值的后验分布，每轮从各后验中各采一个样本、选样本最大者。它把"不确定性大"自动翻译成"偶尔会被采到"，在实践中常与 UCB 相当或更好，且更容易推广到贝叶斯设定。

深度 RL 中的探索为什么难

表格情形的探索工具（计数、UCB、置信区间）依赖可枚举的状态。深度 RL 把状态换成了高维连续表示后，这些工具全部失效：

• 状态无法计数：像素空间里几乎不会访问同一个状态两次，$N(s)$ 恒为 1。应对办法是学一个表示，在表示空间里度量新颖度——这是第六卷内在奖励方法（伪计数、好奇心、随机网络蒸馏）的出发点（→ 好奇心与预测误差：ICM 与 RND）。
• 信号被均值淹没：价值函数拟合的是期望回报，一个稀少的成功轨迹对均值的贡献会被大量失败轨迹稀释，学到的价值提不出"那里可能有好处"的信号。分布式 RL 与内在奖励是两种补信号的方式。
• 探索目标本身非平稳：随策略改进，"什么是新颖的"也在变，探索奖励随之漂移，给训练引入额外的不稳定。

因此现代深度 RL 的探索往往是结构化的：不是多随机一点，而是显式地"先回到有希望的地方，再从那里出发"（→ Go-Explore 与归档式探索），或"自己给自己出题"（→ 目标导向的探索）。

本章要点

• 探索的代价是短期回报，收益是信息
• 简单的 $\epsilon$-greedy 在稀疏奖励下几乎无效
• 第六卷专门讨论深度 RL 中的探索

相关阅读

• 好奇心与预测误差：ICM 与 RND
• 多臂老虎机