目标条件 RL 与 HER

目标条件策略 $\pi(a|s,g)$ 用一个网络解决一族任务；事后经验回放（HER）把未达成目标的轨迹重新标注为达成了实际到达的状态，把稀疏奖励变稠密。本章讲 HER 的实现与目标采样策略，以及目标条件价值函数与距离学习的联系。

目标条件策略：一个网络，一族任务

目标条件策略 $\pi(a \mid s, g)$ 把目标 $g$ 作为输入的一部分，用一个网络解决一族任务（"到达状态 $g$ "的所有实例）。好处：

训练的困难是稀疏奖励：奖励只在 $s_T = g$ 时给（到达才有），探索的期望时间随状态空间指数增长（→ 探索与利用）。

事后经验回放（Hindsight Experience Replay, Andrychowicz et al., 2017）的关键洞察：一条未达成目标的轨迹，对"它实际到达的目标"来说就是成功。机械臂想抓 A 却碰到了 B——这条轨迹没教"怎么抓 A"，但完美地教了"怎么碰 B"。

实现：把轨迹重标注（relabel）——对轨迹上实际到达的状态 $s_T$ ，把它作为事后目标 $g' = s_T$ 存入回放缓冲：

$(s_0, a_0, \dots, s_T;\ g) \quad \Longrightarrow \quad (s_0, a_0, \dots, s_T;\ g' = s_T,\ r = 1).$

稀疏奖励被机械地变稠密：每条轨迹（无论成败）都贡献成功的经验。训练循环与普通 off-policy RL 相同（DDPG/SAC + 回放），只是每个转移带着（可能重标注的）目标。

为什么有效：目标条件结构使"成功经验"可以跨目标复用——学到"从这个状态这样动能到达那"，对任何目标都对。HER 是稀疏奖励机械臂任务的标准解法。

重标注用什么目标，是 HER 的核心超参：

$k$ （每条轨迹重标注几个目标）通常 4–8。与课程式出题（→ 目标导向的探索）的关系：HER 的"事后目标"天然是当前能力边缘上的目标（刚到达的），等于免费的自动课程。

目标表示决定泛化：

理论联系：目标条件价值函数 $V(s, g)$ 与状态间的（学习出的）距离有对应—— $V(s, g)$ 的负值近似一种可学习的度量（时间距离），这是 goal-conditioned RL 与距离学习/表度学习（metric learning）交叉的来源。