离线 RL 基准与评估

离线 RL 的评估需要与环境交互，而"选超参"本身就违反离线假设。本章讨论 D4RL 各数据集的特点、离线策略评估（OPE）方法，以及公平比较的规范。

D4RL 及其数据集

D4RL（Datasets for Deep Data-Driven RL, Fu et al., 2020）是离线 RL 的标准基准，数据集按任务与质量分层：

• MuJoCo 运动（halfcheetah、hopper、walker2d）：按数据质量分 random / medium / medium-replay / expert 四档——random 是随机策略的数据，medium 是训练到中等水平的策略，expert 是接近最优的策略。四档考察的失败模式不同：random 考察"数据太差能不能学"、expert 考察"能不能压榨好数据"。
• AntMaze：稀疏奖励的导航任务，考察缝合能力（→ 决策 Transformer 与序列建模）——数据由子目标策略产生，没有完整轨迹。
• Adroit / FrankaKitchen：灵巧手与机械臂操作，考察真实机器人相关设定。
• Minari 是 D4RL 的后继（Farama 基金会维护），接口更规范。

版本陷阱

D4RL 各版本的数据集与评分脚本有差异，跨论文比较时注意数据集版本；MuJoCo 版本（2005/210/如 mujoco210 与 mujoco3）同样影响可比性。

隐性作弊：在线选超参

离线 RL 的评估有一个结构性陷阱："选超参"本身违反离线假设。大多数论文在多个随机种子与超参配置中用真实环境的在线评估选最好的，再报告这个最好结果——这等于偷看了部署环境的反馈，违反"不能交互"的前提。

后果是系统性的高估：论文报告的分数比"真正离线可得"的性能高出一截。规范的做法：

• 报告所有超参与种子的分布（IQM、置信区间，→ 评估协议与可复现性），而不是最好的一次；
• 或使用离线选超参协议（如 train/validation split 在数据集内部、或用 OPE 选），并把在线评估只用于最终报告。

OPE：离线策略评估

OPE（off-policy evaluation）要回答"这个策略在真实环境里能得多少分"，而只用数据集。三类方法：

• 重要性采样（IPS / weighted IS）：用行为策略与目标策略的似然比修正回报。无偏但方差随轨迹长度指数增长，长视野下不可用（→ 蒙特卡洛方法中 IS 的方差问题）；
• 拟合 Q 评估（FQE）：学一个 $Q^{\pi}$（固定目标策略做 TD 回归），用 $\mathbb{E}_{s_0} Q^\pi$ 估计性能。偏差来自 $Q$ 的函数逼近与分布偏移，方差低，实践中最常用；
• 双重稳健（DR）：IS 与模型估计结合，用模型降方差、用 IS 修偏差。

OPE 的诚实结论：各有偏差，没有任何方法在所有设定下可靠；OPE 的结果应该只作为辅助证据，最好配合对超参的规范化报告。

数据集质量比算法差异更决定结果

离线 RL 实验的反复观察：数据集质量对结果的影响超过算法之间的差异。同一算法在 medium 与 expert 数据上的差距，常常大于不同算法在同一数据上的差距。这把"选数据"变成了与"选算法"同级的决定——报告结果时必须说明数据版本与质量档位。

本章要点

• 在线选超参是常见的隐性作弊
• OPE 方法（FQE、重要性采样）各有偏差
• 数据集质量比算法差异更决定结果

相关阅读

• 评估协议与可复现性
• 分布偏移与保守估计：CQL、IQL