目标导向的探索

智能体自动生成目标并尝试达成，目标难度随能力提升（自动课程）。本章讲目标 GAN、Skew-Fit、以及与目标条件 RL 的关系。

自己给自己出题

内在奖励方法（计数、好奇心、信息增益，→ 第一部分）用标量奖励引导探索；目标导向的探索换了一种结构：智能体自动生成目标 $g$ ，然后尝试达成它。探索变成"出题与做题"：

出题：从目标分布 $p(g)$ 中采样目标——出什么题决定探索去哪里；
做题：目标条件策略 $\pi(a \mid s, g)$ 尝试达成（→ 目标条件 RL 与 HER）；
更新：达成与否的反馈更新策略与目标分布。

相比标量内在奖励，目标的结构有两个好处：信号更稠密（达成一个目标比"新颖度下降"更明确），能力可积累（学会的目标成为后续目标的踏脚石）。代价是需要一个目标条件策略与一个可辨识的目标空间。

目标分布：覆盖状态空间的边缘

出什么题是核心设计。朴素做法（均匀采样目标）在目标空间大的时候效率极低——大多数目标离能力太远，做不出来。有效的目标分布应该覆盖当前能力的边缘（frontier）：

目标 GAN (Florensa et al., 2018)：用 GAN 学"起点附近可达区域"上的目标分布——初始目标选在"离起点不太远但也不平凡"的位置，随策略进步把目标向远处搬；
Skew-Fit (Pong et al., 2020)：把"已到达状态"的经验分布做幂次偏置（skew），采样概率 $\propto p_{\text{visited}}(g)^\alpha$ （ $\alpha < 1$ ）——已到达状态的边缘被指数级放大，目标自动集中在"能力边缘"上，无需手工课程。

两个方法的共同哲学：目标分布覆盖状态空间的边缘——太近的题不值得做，太远的题做不出来。

成功率与学习效率的权衡

目标难度与学习效率的关系有一个经验规律：成功率约 50% 的目标学习效率最高——太容易（接近 100%）学不到东西，太难（接近 0%）没有梯度信号。目标 GAN 与 Skew-Fit 都在（显式或隐式地）逼近这个 sweet spot，这正是"自动课程"（automatic curriculum）的本质：难度随能力提升自动调整。

与目标条件 RL 的关系

目标导向的探索 = 目标条件 RL + 自动出题。目标条件部分（一个策略解一族任务、HER 把失败变成功）见第十卷（→ 目标条件 RL 与 HER）；探索部分（出什么题）是本章的主题。两者合体后的完整循环：

用当前策略跑一些轨迹（带随机性）；
从轨迹中提取"实际到达的状态"，偏置采样为事后目标（HER）；
用 HER 重标注的数据更新目标条件策略；
重复：能力提升 → 目标变难 → 能力再提升。

这个循环是无监督技能学习与"自己玩自己出题"式探索（如拉丁方任务、机械臂操作）的标准范式。

本章要点

目标分布应覆盖状态空间的边缘
成功率约 50% 的目标学习效率最高
与第十卷目标条件 RL 衔接