选项框架与技能发现
选项（option）是带有启动条件与终止条件的子策略。本章讲选项框架的半马尔可夫性质、Option-Critic 的端到端学习、以及无监督技能发现（DIAYN 等）通过最大化技能与状态的互信息得到多样技能。
- 时间抽象缩短了有效视野
- 端到端学习的选项容易退化为单步或永不终止
- 互信息目标产生可区分但不一定有用的技能
选项（option）是带有启动条件与终止条件的子策略。本章讲选项框架的半马尔可夫性质、Option-Critic 的端到端学习、以及无监督技能发现（DIAYN 等）通过最大化技能与状态的互信息得到多样技能。