通信与协作

智能体之间可学习的通信信道（CommNet、TarMAC）、涌现语言、以及零样本协作（与从未见过的队友配合，如 Hanabi/Overcooked）。本章讨论这些问题的设定与主要方法。

可学习的通信信道

智能体之间如果有可学习的通信信道，"说什么"就成了策略的一部分。代表方法按信道的性质分：

CommNet（Sukhbaatar et al., 2016）：广播信道——每个智能体的隐藏状态被平均后广播给所有智能体，连续向量消息，无离散化；
DIAL（Foerster et al., 2016）：可微离散信道——消息是离散符号，但通过丢弃梯度的技巧近似可微，端到端学习；
TarMAC（Das et al., 2019）：注意力签名信道——消息带发送者签名，接收方用注意力决定听谁、听多少。

三个方法的共同问题：带宽约束下的信息选择。信道带宽有限（真实场景的通信有代价），消息必须是"对听者有用的"——通信学习因此是信息瓶颈问题的一个实例：说什么 = 压缩什么 = 保留什么。

涌现语言及其兼容问题

多智能体训练可以涌现出通信协议（一种"语言"）。但涌现协议有一个结构性问题：自博弈训练出的协议常无法与人类或其他智能体兼容——两个智能体约定俗成的暗号，第三者（人类、新队友）听不懂。

这个问题的严重性随应用而变：封闭系统（固定队友）无碍；开放系统（要与人协作）致命。它也是零样本协作问题的根源。

零样本协作

零样本协作（zero-shot coordination）：与从未见过的队友（人类或新训练的智能体）配合，不重新训练。标准测试场：

Hanabi：不完全信息的合作卡牌游戏，需要Hints与约定，人机协作是标志性问题；
Overcooked：合作做饭，需要分工与时机配合。

问题根源与"涌现语言"相同：自博弈收敛到的均衡是任意的（对称问题有多个等价解，训练随机性决定收敛到哪个），人类会收敛到"自然的"那个约定，训练出的智能体却不一定。

Other-Play (Hu et al., 2020) 的修复：利用问题的对称性——训练时随机应用对称变换（把等价的解决方案互换），惩罚"依赖特定约定"的行为，逼策略学所有对称等价方案下都好用的协议。在 Hanabi 上显著改善与未知队友的协作。更一般的路线：population-based 训练（见过多种队友）、明确的约定先验。

分工与信用分配

协作的另一半是分工（division of labor）：不同智能体学不同的角色。涌现分工需要奖励设计（个体奖励、角色正则）或结构先验（角色 embedding），与信用分配问题（→ MARL 基础与 CTDE）纠缠：分不出贡献就学不出分工。

本章要点

自博弈训练出的协议常无法与人类或其他智能体兼容
Other-play 等方法引入对称性打破
通信带宽约束下的信息选择