推荐与广告

推荐系统中的 RL 多以上下文老虎机形式出现；长期用户价值优化需要完整 RL，但只能离线学习。本章讲 slate 推荐的动作空间问题、离线策略评估（IPS、DR）、以及工业界的实际部署经验。

上下文老虎机是主力

推荐场景中，RL 的完整形态（状态在交互间转移、探索影响长期分布）很少见，上下文老虎机（contextual bandit）是主力模型（→ 多臂老虎机）：

上下文 = 用户特征与页面状态；动作 = 展示哪条内容/广告；奖励 = 点击、停留、转化；
假设每次决策独立（这一步的展示不影响下一步的分布）——大多数场景下是可接受的近似；
LinUCB、Thompson 采样的线性/神经版本是标配方法。

为什么工业界停在老虎机：探索的代价在真实流量上非常昂贵——完整 RL 的探索（随机推内容）直接损失收入与用户体验，老虎机把探索的预算用遗憾量化、控制在可承受范围（UCB/Thompson 的 $O(\log T)$ 遗憾有理论保证）。

Slate 推荐：组合的动作空间

推荐一次展示一个列表（slate，如 10 条内容），动作空间是组合的（从百万候选中选有序的 10 个）——枚举不可行。处理方式：

评分式分解：对每条候选独立评分、按分排序——忽略条目间的相互影响（多样性、替代效应）；
级联模型（cascade）：假设用户从上往下看、点了就停——把 slate 的奖励分解成逐位置的条件概率；
组合优化层：评分 + 按约束（多样性、类目）做整数规划选 slate。

长期价值与完整 RL

短期指标（点击率）与长期用户价值（留存、满意度）的冲突是推荐 RL 的核心动机：点击率最优的推荐（标题党）损伤长期留存，需要完整 RL 优化长期回报。

但完整 RL 在推荐里只能离线学习（不能在线试错）——状态是用户的历史行为（序列），动作是推荐，转移在数据里。问题设定接近离线 RL（→ 第七卷）：分布偏移、保守估计、离线评估全是活问题。代表性方法：把推荐序列当作序列建模（类似决策 Transformer，→ 决策 Transformer 与序列建模）或 off-policy 价值学习。

离线评估：IPS 与 DR

推荐 RL 的部署瓶颈是离线评估：新策略上线前要回答"它在真实流量上能带来多少"，而只能用旧策略的日志数据。

逆倾向得分（IPS, inverse propensity scoring）：用日志中记录的展示概率修正——无偏但方差是主要障碍（倾向小时权重爆炸，→ 蒙特卡洛方法）；
双重稳健（DR, doubly robust）：IPS + 奖励模型，用模型降方差、用 IPS 修偏差——工业界的主力；
模型的偏差需要校准（倾向得分的质量决定一切）。

部署经验

探索有护栏：在线探索用受限的流量切片、上下文受限的随机化（不是全局随机）；
离线评估先行：OPE 的置信区间 + 小流量灰度，两道护栏；
长期指标的代理：留存难测量，用会话深度、回访率等代理指标 + 长周期 A/B（数周到数月）；
离线 RL 的保守：上线的策略保留 BC 正则（不偏离日志分布太远，→ 分布偏移与保守估计：CQL、IQL）。

本章要点

探索的代价在真实流量上非常昂贵
离线评估的方差是主要障碍
长期价值与短期指标的冲突