信息增益与贝叶斯探索

VIME 等方法用对动力学模型参数的信息增益作为奖励；后验采样（PSRL）在每回合采样一个 MDP 并对其最优行动，是 Thompson 采样在 RL 中的推广。本章讲这些方法的理论优雅与工程代价。

信息增益：去能最大减少不确定性的地方

信息增益（information gain）路线把"新鲜"定义为认知不确定性的减少量：智能体对环境动力学有一个（贝叶斯）信念 $p(\theta \mid \mathcal{D})$，某个转移 $(s, a, s')$ 的信息增益是观察它前后信念的变化：

$r^+(s, a, s') = \mathrm{KL}\big(\, p(\theta \mid \mathcal{D} \cup \{s,a,s'\}) \,\|\, p(\theta \mid \mathcal{D}) \,\big).$

直觉：去能让"对环境怎么运作"更新最多的地方。这与预测误差路线（→ 好奇心与预测误差：ICM 与 RND）的关键区别：信息增益只算认知不确定性（模型参数不确定）的变化，环境固有的随机性（aleatoric，真随机）不产生信息增益——对真随机源，观察一次与观察一万次，信念不再变化。噪声电视问题因此被原则性地解决。

VIME (Variational Information Maximizing Exploration, Houthooft et al., 2016) 用变分推断近似参数后验：学一个变分分布 $q_\phi(\theta)$，信息增益用变分 KL 近似。VIME 与任何 on-policy 算法即插即用（如 TRPO + VIME），在稀疏奖励任务上显著加速探索。

工程代价：每一步要更新一次后验近似（或维护一个集成模型算分歧），计算昂贵；信念对什么参数（动力学模型的参数化）定义，又引入设计选择。信息增益是原则性的但计算昂贵——理论最干净，工程最不省。

后验采样：PSRL

PSRL（Posterior Sampling for RL, Osband et al., 2013）是 Thompson 采样在完整 RL 中的推广（→ 多臂老虎机）：

1. 维护 MDP 参数的贝叶斯后验 $p(M \mid \mathcal{D})$；
2. 每个回合开始时，从后验采一个 MDP $M_k \sim p(M \mid \mathcal{D})$；
3. 整个回合对 $M_k$ 的最优策略行动（解方程、值迭代均可）；
4. 用本回合数据更新后验，下回合重新采样。

直觉与 Thompson 采样完全相同：采出的 MDP 在"确认好"的维度上像真环境，在不确定的维度上是"猜"——对猜的 MDP 最优，等效于探索不确定的区域。回合结束重新采样，保证不确定性大的时候频繁换、确认多的时候不再换。

理论：PSRL 有贝叶斯遗憾界 $O(\sqrt{T})$ 级别（对信息论量还有更紧的界），在表格设定下是理论上最优雅的探索算法之一——它把探索完全外包给了"对采样出的 MDP 贪心"，不需要额外的探索项。

工程代价：每回合解一次 MDP（表格情形可行，大状态空间需要近似求解器）；后验的维护依赖参数化（对神经动力学模型的后验近似，实践中用集成模型近似——每个集成成员是一个"采出的 MDP"）。

Bootstrapped DQN

Bootstrapped DQN (Osband et al., 2016) 把 PSRL 的思想搬到深度 RL：维护 $K$ 个独立初始化的价值头，每个头在回放缓冲的自助重采样（bootstrap sample）上训练；每个回合随机选一个头、整个回合按它的贪心行动。

• $K$ 个头 = $K$ 个"采出的价值函数"，近似后验采样；
• 深度探索（整个回合保持一个假设）替代 $\epsilon$-greedy 的浅度探索（每步换）——在需要"多步赌一把"的任务上（如 Chain）显著更好。

定位

信息增益与 PSRL 是"去能最大减少不确定性的地方"路线：理论上最原则性（真随机不奖励、贝叶斯遗憾界清晰），工程上最昂贵（后验、每回合求解）。它们的价值在于定义了"好的探索奖励应该长什么样"，工程方法（集成、Bootstrapped DQN）是它们在深度时代的近似。

本章要点

• 信息增益是原则性的但计算昂贵
• PSRL 的贝叶斯遗憾界
• Bootstrapped DQN 用集成近似后验

相关阅读

• 好奇心与预测误差：ICM 与 RND
• 多臂老虎机