逆强化学习与 GAIL

逆 RL 假设专家最优，推断能解释其行为的奖励函数；最大熵 IRL 解决歧义性；GAIL 用判别器直接匹配占用度量，绕过显式奖励。本章讲这条脉络及其与 GAN 的对应关系。

逆强化学习：从行为反推奖励

正向 RL 给定奖励学策略；逆强化学习（Inverse RL, IRL）反过来：给定专家行为，推断能解释该行为的奖励函数。Ng & Russell (2000) 的框架：假设专家最优，找使专家行为成为最优（或接近最优）的奖励 $R$ 。

IRL 的动机来自一个观察：奖励比策略更可迁移。策略绑定在具体的状态/动作空间上，换一个环境就作废；奖励是"意图"的表示——"把杯子放到桌上"的意图可以跨机器人、跨环境复用。学到奖励，就学到了专家行为背后的规范。

IRL 的根本困难是歧义性：能解释专家行为的奖励有无穷多个（把专家轨迹的奖励设大、其余设小，任何"退化"奖励都解释得通）。需要对"哪个奖励更好"做选择。

最大熵 IRL (Ziebart et al., 2008) 的选择原则：在所有能与专家轨迹匹配的奖励中，选使轨迹分布熵最大（假设最少）的那个。轨迹的似然由奖励的指数族给出：

$P(\tau \mid R) \propto \exp\big(\, R(\tau) \,\big),$

奖励学习变成最大化专家轨迹在该分布下的似然。最大熵原则在 RLHF 的奖励模型中同样出现（成对偏好 + Bradley–Terry，→ 奖励模型）。

GAIL（Generative Adversarial Imitation Learning, Ho & Ermon, 2016）绕过显式奖励：直接学一个策略，使其占用度量（occupancy measure，状态-动作对的出现分布）与专家的不可区分。实现与 GAN 完全同构：

用判别器的输出作为学到的奖励信号，学习者用任何 RL 算法（TRPO/PPO 常用）训练。与 IRL 相比：不需要显式的奖励函数（绕过歧义性与函数类选择），但奖励不可解释、迁移性差——判别器绑定在当前状态空间上。

与 GAN 的对应关系：判别器 = 判别器，学习者 = 生成器，"骗过判别器" = 以假乱真。同样继承 GAN 的弱点：对抗训练不稳定（判别器太强则奖励信号消失，太弱则学不到东西），需要小心平衡。

与 RLHF 的联系：RLHF 的奖励模型可视为 IRL 的偏好版本——不假设专家演示，而假设成对偏好；用 Bradley–Terry 而非最大熵轨迹分布。学到的奖励同样被后续优化，同样的"奖励函数会被利用"问题（Goodhart）在这条脉络上一以贯之（→ 奖励黑客与对齐税）。