选项框架与技能发现

选项（option）是带有启动条件与终止条件的子策略。本章讲选项框架的半马尔可夫性质、Option-Critic 的端到端学习、以及无监督技能发现（DIAYN 等）通过最大化技能与状态的互信息得到多样技能。

选项：时间抽象

选项（option）是扩展动作的子策略：三元组 $(\mathcal{I}, \pi, \beta)$ ——

启动集 $\mathcal{I} \subseteq \mathcal{S}$ ：哪些状态可以启动这个选项；
内部策略 $\pi$ ：选项激活期间的行为（到另一个 MDP）；
终止函数 $\beta(s) \in [0, 1]$ ：在每个状态终止的概率。

智能体每步决策的对象从"动作"变成"选项"——一个选项执行多步（内部策略逐时间步行动），时间抽象由此而来：高层只做选项级决策，有效视野被缩短。走路去厨房是一个选项（内部策略是迈步），"去厨房"是高层的一个动作。

半马尔可夫决策过程（SMDP）

选项级决策的数学框架是 SMDP（semi-Markov decision process）：动作（选项）消耗随机步数，价值函数按消耗的时间折扣：

$Q_{\Omega}(s, \omega) = \mathbb{E}\Big[\, r_0 + \gamma r_1 + \dots + \gamma^{\tau - 1} r_{\tau-1} + \gamma^\tau\, \max_{\omega'} Q_\Omega(s_\tau, \omega') \Big],$

其中 $\tau$ 是选项执行的步数。SMDP 的 Bellman 方程、策略迭代、Q-learning 都与标准 MDP 同构（把 $\gamma$ 换成 $\gamma^\tau$ ）——选项框架（options framework, Sutton, Precup & Singh, 1999）的核心定理：在选项上做规划与在动作上做规划是同一个数学问题。

Option-Critic：端到端学习

手工设计选项（子目标、技能）需要先验；Option-Critic (Bacon et al., 2017) 端到端学习：选项的内部策略、终止函数、选项间的高层策略同时用梯度学习，不需要预定义子目标。终止函数的梯度来自选项间的优势差（"在这里终止是否更好"）。

退化问题：端到端学习的选项容易退化——要么全部退化为单步选项（时间抽象消失，退回普通 Q-learning），要么永不终止（一个选项包揽全部）。退化的原因是时间抽象带来的优势需要专门的机制维持（终止惩罚、熵约束、选项数限制），工程上需要小心。

无监督技能发现：DIAYN

另一条路：不学选项的用处，先学多样的技能。DIAYN（Diversity is All You Need, Eysenbach et al., 2018）的思路：学一组技能策略 $\pi(a \mid s, z)$ （ $z$ 是技能 latent），用互信息目标——

$\max\ I(Z; S) = \max\ \mathbb{E}\big[\, \mathrm{KL}\big( p(z \mid s)\ \|\ p(z) \big) \big],$

即"从状态能推断出用了哪个技能"——不同技能到达不同的状态分布，技能因此可区分。判别器 $p(z \mid s)$ 给每个技能一个内在奖励（判别的对数似然），技能策略用它训练。

得到的：多样、可区分的行为（前进、后退、转圈——机械臂的推、抓、抬）；
没保证的：可区分不等于有用——互信息目标不包含任务信息，技能可能全在"任务不需要"的维度上多样化。技能的用途要等下游（作为选项或初始化）检验。

HSD、EDL 等后续方法把"有用性"部分纳入（任务梯度回传到技能空间），但"多样且有用"的原则性目标仍无公认解。

定位

时间抽象解决的是视野问题：长视野任务的信用分配被压缩到选项级（→ 马尔可夫决策过程中折扣视野的讨论）。与目标条件 RL 的关系：技能可以视为"隐式的目标"（DIAYN 的 $z$ 与目标 $g$ 的角色相似，→ 目标条件 RL 与 HER）；两条路（学技能 vs 学目标）在分层 RL 中互相借用。

本章要点

时间抽象缩短了有效视野
端到端学习的选项容易退化为单步或永不终止
互信息目标产生可区分但不一定有用的技能