KL 惩罚 / 信任域

定义：TRPO 用 KL 约束，PPO 用裁剪近似，RLHF 用对参考模型的 KL 惩罚防止漂移。

出处：TRPO 与 PPO、RLHF 全流程。