DPO 与无奖励模型方法

DPO 证明 KL 约束下的 RLHF 最优策略与奖励之间有闭式关系，从而可以直接用偏好数据做分类式训练，无需奖励模型与采样。本章推导 DPO，比较 IPO、KTO、SimPO 等变体，讨论其相对 PPO 的优劣与离线特性带来的问题。

推导：闭式的奖励—策略关系

RLHF 的目标（→ RLHF 全流程）是在 KL 约束下最大化奖励：

$\max_\pi\ \mathbb{E}_{y \sim \pi}\big[\, r(x, y) \,\big] - \beta\, \mathrm{KL}\big( \pi(\cdot \mid x)\ \|\ \pi_{\text{ref}}(\cdot \mid x) \big).$

DPO (Rafailov et al., 2023) 的关键观察：这个目标有闭式解——最优策略与奖励之间可以互相表示：

$\pi^*(y \mid x) = \frac{1}{Z(x)}\, \pi_{\text{ref}}(y \mid x)\, \exp\big( \tfrac{1}{\beta}\, r(x, y) \big) \quad \Longleftrightarrow \quad r(x, y) = \beta \log \frac{\pi^*(y \mid x)}{\pi_{\text{ref}}(y \mid x)} + \beta \log Z(x).$

把右边代入 Bradley–Terry 的偏好概率（→ 奖励模型），配分函数 $Z(x)$ 在偏好对的差中被消去——得到只依赖策略与偏好数据的 DPO 损失：

$\mathcal{L}_{\text{DPO}} = -\mathbb{E}\Big[\, \log \sigma\Big( \beta \log \frac{\pi_\theta(y_w \mid x)}{\pi_{\text{ref}}(y_w \mid x)} - \beta \log \frac{\pi_\theta(y_l \mid x)}{\pi_{\text{ref}}(y_l \mid x)} \Big) \Big],$

其中 $y_w$ （win）是更好的回复、 $y_l$ （lose）是更差的。训练就是二分类：拉开策略对好坏回复的（相对参考模型的）对数概率差。

DPO 的优势与代价

优势：

不需要奖励模型、不需要采样——一个带梯度的模型 + 冻结的参考模型，显存压力回到 SFT 水平；
实现极简：一个分类损失，没有 RL 的训练不稳定，没有四个模型的调度。

代价：

离线方法：只用固定的偏好数据集，不与环境（人类）交互。数据分布之外的改进空间够不着——受偏好数据分布限制；PPO 是在线方法，能在训练中发现数据里没有的改进方向。
没有过程信号：整个回复一个标签，没有逐步奖励。
对超参（ $\beta$ ）与数据质量仍然敏感，且没有显式的奖励来诊断（不知道模型学到了什么样的"偏好"）。

变体

IPO（Azar et al., 2023）：DPO 的损失在偏好被完美分类后仍会推大差距（过拟合），IPO 用平方损失替代 log-sigmoid，给出更温和的界；
KTO（Ethayarajh et al., 2024）：不用成对数据，只用单独标注的好坏回复（thumbs up/down 更常见），用前景理论的非对称效用；
SimPO（Meng et al., 2024）：去掉参考模型（用回复平均对数概率作为隐式基线），进一步降低显存与计算；
在线 / 迭代 DPO：每轮用当前策略采样新回复、重新标注、再训——部分弥补离线特性，向 PPO 的在线性靠拢。

定位

DPO 的意义是把"RLHF 必须用 RL"这个假设打破了：偏好优化可以是一个分类问题。简单性使其成为开源社区默认选择（数据、显存、稳定性都友好）。与 PPO 的分界：PPO 在线、有显式奖励可诊断、上限更高；DPO 离线、简单稳定、够用——两者的融合（在线迭代 DPO、混合流程）是当前方向。

本章要点

DPO 是离线方法，受偏好数据分布限制
在线 DPO / 迭代 DPO 部分弥补这一点
简单性使其成为开源社区默认选择

DPO 与无奖励模型方法

推导：闭式的奖励—策略关系

DPO 的优势与代价

变体

定位

本章要点

相关阅读