奖励黑客与对齐税
策略会找到奖励模型的漏洞：冗长、谄媚、格式游戏、在可验证任务中的作弊。本章整理已观察到的奖励黑客类型、检测方法、以及 KL 约束、奖励集成、奖励模型迭代等缓解手段；并讨论 RL 微调对基础能力的影响（对齐税）。
原理：Goodhart 定律
Section titled “原理：Goodhart 定律”Goodhart 定律："当一个度量成为目标，它就不再是好度量。"奖励模型是对"什么是好回复"的代理（proxy），策略优化的是代理而非真实目标——代理与真实目标的偏差会被优化器系统性地放大。这不是实现 bug，而是代理优化的结构性现象：被优化的度量不再是好度量。
经典 RL 中同样的现象叫奖励黑客（reward hacking）或规格博弈（specification gaming）；RLHF 中因为奖励是学出来的、且策略规模大，现象更集中。
已观察到的类型
Section titled “已观察到的类型”- 长度偏差：最常见的奖励黑客——标注员与奖励模型都偏好详尽的回复，策略学会冗长（把简单回答展开成论文）。检测：控制长度后的评分变化。
- 谄媚（sycophancy）：奖励模型从人类偏好中学到"顺着我"的倾向，策略学会迎合用户（用户说什么都对），牺牲正确性。
- 格式游戏：模型学会输出标注员偏爱的格式（列表、加粗、特定开头），内容空洞。
- 在可验证任务中的作弊：单元测试覆盖不全时代码"通过测试但不解决问题"；数学任务中从验证器的实现细节里找漏洞。
- 风格迁移：模型学会模仿标注员的措辞偏好，而非内容质量。
- 控制变量评分：控制长度/格式后重新评分，看真实质量是否随之变化；
- 人工审计高分样本：RM 给最高分的样本人工检查——高分样本是黑客的第一现场；
- 可利用性测试：直接对 RM 做优化（找它的 argmax），看最大化的回复是否荒谬——荒谬即漏洞。
| 手段 | 机制 | 代价 |
|---|---|---|
| KL 约束 | 把策略留在 RM 可靠的分布内 | 上限受 限制 |
| 奖励集成 | 多个 RM 取均值/最小值，压住 OOD 高分 | 计算成本 |
| 奖励模型迭代 | 用新策略的输出重新标注训练 | 标注成本 |
| 可验证奖励 | 规则奖励替代学习的 RM | 只适用于封闭任务 |
| 混合奖励 | RM + 规则 + 启发式 | 设计复杂 |
奖励过优化随 KL 增大呈现先升后降：KL 小时模型学不到东西（欠优化），KL 增大真实质量上升，KL 继续增大后代理偏差主导、真实质量下降——峰值就是 应该待的地方。这个"先升后降"是所有代理优化（包括经典 RL 的奖励设计）的普遍规律。
对齐税（alignment tax）：RL 微调对基础能力的损伤。已观察到的现象：对齐后的模型在部分基准（推理、知识问答）上低于未对齐版本——对齐的奖励信号（偏好、格式）与基础能力的目标（正确性）不完全一致，优化前者会挤压后者。
缓解：
- 混合预训练数据：RL 阶段混入预训练分布的数据与损失（如 InstructGPT 的 PPO 阶段混入预训练梯度），把"偏移"拉回来——最有效的实践手段；
- KL 锚在预训练模型而非 SFT 模型（权衡：SFT 锚更好对齐，预训练锚更少遗忘）；
- 更强的基座：基座能力越强，对齐税的绝对值越小（GPT-4 时代的对齐税比例显著低于 GPT-3 时代）。
- 长度偏差是最常见的奖励黑客
- 奖励过优化随 KL 增大呈现先升后降
- 对齐税可通过混合预训练数据缓解