MARL 基础与集中训练分散执行

其他智能体在学习，环境从单个智能体看是非平稳的；团队奖励下每个智能体的贡献难以分辨。CTDE 在训练时使用全局信息、执行时只用局部观测。本章讲 MADDPG、MAPPO、QMIX 与价值分解。

两个新困难

多智能体把 RL 的困难升级为两个新问题：

非平稳性：其他智能体也在学习。从单个智能体的视角，环境的转移函数 $P$ 与对手策略在随训练变化——马尔可夫性、收敛性、价值函数的意义都要重新审视。"最优策略"依赖于对手是谁、对手会怎么变。
信用分配：团队共享一个奖励时，每个智能体的贡献难以分辨——赢了是谁的功劳？全局奖励对所有智能体一样，个体从中学不到"我该做什么"。

CTDE：集中训练、分散执行

CTDE（Centralized Training with Decentralized Execution）是应对这两个困难的主流架构：训练时用全局信息（所有智能体的观测与动作），执行时每个智能体只用局部观测。

训练时用全局信息 → 解决非平稳性（critic 看到全局状态，价值函数不必建模其他智能体的变化）与信用分配（全局 critic 能分辨个体贡献）；
执行时只用局部观测 → 部署不需要中心节点与全局通信（真实多机器人、游戏客户端皆如此）。

这是把"训练与执行的信息不对称"制度化：信息不平等可以接受，只要执行时不依赖。

MADDPG 与 MAPPO

MADDPG（Lowe et al., 2017）：DDPG 的多智能体版——每个智能体有自己的确定性 actor（只用局部观测），critic 用全局状态 + 所有智能体的动作训练。CTDE 的最直接实现。

MAPPO（Yu et al., 2022）：PPO 的多智能体版——局部 actor + 全局 critic + GAE。实证结论：在合作任务上 MAPPO 常优于 off-policy 方法，且实现简单（PPO 的稳定性优势在多智能体的非平稳噪声下更值钱，→ TRPO 与 PPO）。

IPPO（独立学习）：每个智能体独立跑 PPO，完全不用全局信息。意外强大的基线——CTDE 的全局 critic 并不总是必要，独立学习在不少合作任务上与 CTDE 相当。先跑 IPPO，再看全局 critic 值不值，是经验法则。

QMIX 与价值分解

价值函数方法的多智能体版本要回答：联合价值 $Q_{\text{tot}}$ 如何从个体价值 $Q_i$ 组合？（价值分解，value decomposition。）

VDN（Value Decomposition Networks）： $Q_{\text{tot}} = \sum_i Q_i$ ，线性可加——太局限；
QMIX（Rashid et al., 2018）： $Q_{\text{tot}} = f_{\text{mix}}(Q_1, \dots, Q_n; s_{\text{global}})$ ，其中 $f_{\text{mix}}$ 是单调网络（对每个 $Q_i$ 的偏导非负）。单调性保证：个体贪心 = 联合贪心（IGM，individual-global-max）——执行时每个智能体对自己的 $Q_i$ 贪心，联合起来就是全局最优（近似）。

单调性约束的代价：QMIX 表示不了联合价值上"非单调"的交互（一个智能体的最优动作依赖另一个智能体选什么，如需要"一个按住、一个拿"的协作），这类任务上 QMIX 有原理性上限。QPLEX、QTRAN 等方法放松单调性，代价是复杂与不稳定。

本章要点

独立学习（IPPO）是意外强大的基线
QMIX 的单调性约束限制了可表示的联合价值
MAPPO 在合作任务上常优于 off-policy 方法