分布式 RL：C51、QR-DQN 与 IQN

把 $Q(s,a)$ 换成回报的分布 $Z(s,a)$，用分布 Bellman 算子更新。本章介绍分类表示（C51）、分位数表示（QR-DQN、IQN），解释为何学分布能改善表示学习并支持风险敏感决策。

学分布而非期望

标准价值方法只学期望：$Q(s,a) = \mathbb{E}[Z(s,a)]$，其中 $Z(s,a)$ 是从 $(s,a)$ 出发的回报分布。Bellemare 等人 (2017) 的观察是：期望把大量信息压缩掉了——两个均值相同的分布，风险与不确定性完全不同。分布式 RL 直接学习 $Z(s,a)$，价值由分布的期望免费导出。

分布 Bellman 方程把 $V$ 换成 $Z$：

$\mathcal{T} Z(s,a) \stackrel{D}{=} R(s,a) + \gamma\, Z(s', \arg\max_{a'} \mathbb{E}\, Z(s', a')),$

其中 $\stackrel{D}{=}$ 表示分布相等。关键结论：该算子在 Wasserstein 距离下是 $\gamma$-压缩，理论上收敛有保证。但 Wasserstein 距离难以用 SGD 最小化，实践需要分布的参数化表示。

C51：分类表示

C51 把回报分布限制在 $N=51$ 个固定支撑点 $\{z_i = z_{\min} + i \Delta z\}$ 上，学习每个点的概率 $p_i(s,a)$。更新需要把 Bellman 算子的输出（支撑点平移 + 概率重分配）投影回固定支撑集（分段线性插值）。投影步骤破坏了压缩性（理论缺陷），但实践效果极好：Atari 57 上，单独的 C51 就超过当时的 DQN 改进组合。

固定支撑集有两个问题：支撑范围 $[z_{\min}, z_{\max}]$ 是超参（奖励尺度变化时需要重设）；支撑点必须覆盖回报范围，空间利用率低。

QR-DQN 与 IQN：分位数表示

QR-DQN (Dabney et al., 2018) 用分位数回归替代固定支撑：学习 $N$ 个分位数位置 $z_{\theta}(s, a, \tau_i)$（$\tau_i$ 均匀分布在 $[0,1]$），用分位数回归损失（pinball loss）训练。没有固定支撑，没有投影，任意奖励尺度自动适配。

IQN (Implicit Quantile Networks) 更进一步：把分位水平 $\tau$ 作为网络输入，$z_\theta(s, a, \tau)$ 可以查询任意分位数。风险敏感策略因此免费得到——风险厌恶选低分位数（$z_{\tau=0.1}$），风险寻求选高分位数，无需重新训练（→ 本章要点"风险敏感"）。

为什么学分布有效

学分布为什么能改善期望性能（不只是提供风险信息）？主流解释：

• 更丰富的学习信号：分布给了网络一个多峰、细粒度的目标， TD 误差的信息量更大，学到的事实上是一个更好的状态表示。消融显示分布式组件带来的收益主要来自表示学习，而非风险敏感行为本身。
• 与优先回放等天然兼容：分布的各类统计量（分位数、CVaR）都可以作为不确定性度量。

定位

分布式 RL 是"给学习信号补信息"的代表方法：第六卷的内在奖励从探索角度补信号，分布式 RL 从目标角度补信号。Rainbow 的消融中它的贡献仅次于优先回放与 n-step（→ DQN 及其改进）。在连续控制中，分布式的思想以分位数 critic 的形式存在于 DSAC 等方法中。

本章要点

• 分布 Bellman 算子在 Wasserstein 距离下是压缩
• 分位数回归避免了固定支撑集
• 风险敏感策略可直接从分位数导出