决策 Transformer 与序列建模

决策 Transformer 以目标回报为条件、用 Transformer 自回归预测动作，把离线 RL 变成序列建模。本章讲其优势（无自举、无不稳定）、局限（无法"缝合"次优轨迹），以及 Trajectory Transformer、Q-Transformer 等后续。

把 RL 当序列建模

决策 Transformer（Decision Transformer, Chen et al., 2021）换了一种问题表述：把轨迹当作序列，把 RL 当作条件生成。输入序列为

$\big(\, \hat{R}_1,\ s_1,\ a_1,\ \hat{R}_2,\ s_2,\ a_2,\ \dots \,\big),$

其中 $\hat{R}_t$ 是目标回报（return-to-go：从 $t$ 起还想要的折扣回报之和）。模型（标准 Transformer）自回归预测 $a_t$ ，条件是 $(s_{\le t}, a_{<t}, \hat{R}_{\le t})$ 。

训练是纯监督学习（预测下一动作），在离线数据集上完成。部署时：指定一个目标回报（"我想要 500 分"），模型生成朝那个目标走的动作；每步更新剩余的 return-to-go。

优势：无自举、无不稳定

没有自举：不做 TD 更新，没有致命三要素，没有价值发散——训练就是标准序列建模，稳定；
序列建模的基础设施免费复用：Transformer 的规模化经验、注意力机制对长程依赖的处理，都直接适用；
多任务天然：一个模型处理所有任务与所有目标回报，条件化在 $(\hat{R}, s)$ 上。

局限：缝合与随机环境

无法"缝合"（stitching）次优轨迹：DT 只会模仿数据集中"与目标回报匹配的完整轨迹"。数据集里没有一条从头到尾的好轨迹，只有"前半段好 + 后半段差"与"前半段差 + 后半段好"两类次优轨迹时，TD 方法可以缝合出一条好轨迹（用 $Q$ 比较每个状态的后继），DT 做不到——它没有跨轨迹的价值比较，序列内的条件生成无法重组别的轨迹的片段。这是 DT 相对 TD 方法的本质劣势。
回报条件化在随机环境中有理论缺陷：把 $\hat{R}$ 当条件意味着假设"回报是可实现的控制目标"。随机环境里同一动作序列的回报有随机性，指定 $\hat{R}$ 的语义含糊（想要期望还是想要实现？），理论上回报条件化与最优性不等价（Brandfonbrener et al., 2022 的分析）。
推理时的目标选择需要先验：目标回报给多少合适，需要知道任务的可能范围。

后续

Trajectory Transformer：把整个轨迹（含奖励与转移）都离散化进序列，用 beam search + 价值加权做规划——离"纯序列建模"退半步、向规划靠半步；
Q-Transformer：把 $Q$ 的学习与 Transformer 结合（对每个动作维度做自回归 Q 学习），恢复缝合能力；
在线版本：DT 与在线微调结合（Q-learning 引导的条件化）缓解随机环境缺陷。

定位

DT 把 RL 的表述推到了极端："也许根本不需要 RL 的机制，序列建模就够了。"它的成功证明了条件生成在离线数据上的可行性；它的局限（缝合、随机环境）则划出了"序列建模路线"与"TD 路线"的边界——两条路线的融合是当前活跃方向（→ 分布偏移与保守估计：CQL、IQL）。与大模型范式的天然兼容（预训练 + 条件生成）让 DT 在机器人基础模型中有位置（→ 机器人）。

本章要点

回报条件化在随机环境中有理论缺陷
缝合能力是 TD 方法相对 DT 的优势
与大模型范式天然兼容