奖励模型

奖励模型用 Bradley–Terry 模型从成对比较中学习标量奖励。本章讨论其表达能力限制（非传递偏好）、对分布外样本的过度自信、集成与不确定性估计，以及过程奖励模型（PRM）与结果奖励模型（ORM）的区别。

Bradley–Terry：成对比较到标量奖励

标注员给出的是成对比较（回复 A 比回复 B 好），奖励模型需要把偏好翻译成可优化的标量。标准模型是 Bradley–Terry：偏好概率由奖励差给出，

$P(y_1 \succ y_2 \mid x) = \frac{\exp\big( r_\phi(x, y_1) \big)}{\exp\big( r_\phi(x, y_1) \big) + \exp\big( r_\phi(x, y_2) \big)} = \sigma\big( r_\phi(x, y_1) - r_\phi(x, y_2) \big),$

训练即最大化观察到的偏好的对数似然。损失只依赖奖励差——奖励的整体平移不可辨识（无所谓，优化用的也是差）。

表达能力的限制：非传递偏好

Bradley–Terry 假设偏好可以由标量奖励理性地解释（存在 $r$ 使偏好一致）。但人类偏好常常非传递（A 比 B 好、B 比 C 好、C 却比 A 好）——标注员对"简洁"与"详尽"的权衡不一致时就会出现。标量奖励模型在非传递数据上只能折中，其上限被钉死在"最接近理性的标量"上。

这是奖励模型的表达能力限制：不是训练不够，是模型类（标量）装不下人类判断的全部结构。

OOD 过度自信与不确定性

奖励模型是在参考模型的输出分布（以及微调中的策略分布）上训练的。分布外样本上它过度自信：没见过的回复也给一个"看起来很有把握"的分数。这与策略优化的相互作用是致命的：策略会精确找到 RM 给高分的 OOD 区域（优化器找漏洞）——这就是奖励黑客的模型来源（Goodhart：被优化的对象，其错误会被放大，→ 奖励黑客与对齐税）。

缓解：奖励模型集成（多个 RM 的均值或最小值——最小值是悲观估计，压住 OOD 高分）、不确定性惩罚（预测不确定的区域降权）、奖励模型迭代（用新策略的输出重新标注、重新训练——RM 与策略交替更新，把训练分布追着策略走）。

PRM 与 ORM

按奖励在哪里给出，分两类：

结果奖励模型（ORM, outcome RM）：只在回复末尾给一个标量——稀疏，但标注便宜（看结果）；
过程奖励模型（PRM, process RM）：对推理的每一步给奖励——对多步推理（数学证明、代码）提供更密集的信号，引导更可靠的搜索；代价是逐步标注昂贵（每一步都要人判断或强验证）。

PRM 的价值在推理任务上被反复验证：数学证明的逐步奖励显著优于只看结果。与 RLVR 的关系：可验证任务（数学、代码）里，验证器就是一种自动化的 PRM/ORM——不学奖励，直接验证（→ GRPO 与可验证奖励）。

奖励模型与策略的规模匹配

实践中的细节：奖励模型与策略的规模要匹配。策略远大于 RM 时，RM 表达不了策略可以发现的全部行为空间（被利用）；策略远小于 RM 时，浪费。InstructGPT 时代的经验是 RM 与策略同规模或更大；推理模型时代则转向可验证奖励，绕开规模匹配问题（→ 本章要点）。

本章要点

奖励模型是被优化的对象，因此其错误会被放大（Goodhart）
PRM 对多步推理提供更密集的信号但标注昂贵
奖励模型规模与策略规模的匹配