元强化学习

元 RL 在任务分布上训练，使智能体能在新任务中用少量经验快速适应。本章比较基于梯度（MAML）、基于记忆/上下文（RL²、上下文学习）与基于任务推断（PEARL）的三类方法，并讨论大模型的上下文学习与元 RL 的关系。

学会快速学习

元强化学习（meta-RL）在任务分布 $p(\mathcal{M})$ 上训练：目标是让智能体在新任务中用少量经验快速适应。两层的循环：

• 内层：单个任务内的学习（RL）；
• 外层：跨任务的学习——"怎样让内层学习变快"本身成为优化目标。

前提是任务分布有共同结构：新任务与训练任务共享某些规律（物理、界面、奖励的形状），适应 = 从少量经验中辨认"这是哪一类"并利用共同结构。任务分布的设计决定元学习能否成立——分布太散没有共同结构（学不到迁移），太窄退化成单任务（不需要适应）。

三类方法

1. 基于梯度（MAML）：

MAML（Model-Agnostic Meta-Learning, Finn et al., 2017）让"一次梯度下降后的表现"成为外层目标：

$\max_\theta\ \mathbb{E}_{\mathcal{M} \sim p}\Big[\, J_{\mathcal{M}}\big( \theta - \alpha\, \nabla_\theta J_{\mathcal{M}}(\theta) \big) \Big].$

外层梯度要穿过内层的梯度步（二阶），实现用一阶近似（FOMAML/Reptile）。优点：模型无关、表示学习干净；缺点：内层要跑多次 RL 更新（贵），二阶梯度不稳。

2. 基于记忆/上下文（RL²）：

RL²（Duan et al., 2016; Wang et al., 2016）把适应过程本身变成 RNN 的前向传播：智能体的隐藏状态在任务的回合内持续、回合间不重置——"学习"就是 RNN 从经验流中更新自己的隐状态。外层只用普通 RL 训练 RNN（没有显式的两层结构），元学习隐式发生。Varibad 等后续改进了隐状态的压缩。

3. 基于任务推断（PEARL）：

PEARL（Probabilistic Embeddings for Actor-critic RL, Rakelly et al., 2019）显式学一个任务表征：从少量经验中推断 latent $z$（变分后验 $q(z \mid \mathcal{D})$），策略与价值都条件在 $z$ 上。适应 = 推断 $z$（一次后验更新，不需要梯度下降）。样本效率高（显式的任务推断），但依赖 latent 的容量设计。

大模型的上下文学习 = 隐式元 RL

大语言模型的上下文学习（in-context learning，从提示中的示例学习新任务）在结构上与 RL² 的记忆路线同源：适应不需要梯度更新，靠前向传播完成。预训练在任务分布上（海量任务），模型学会了"从上下文推断任务并执行"——这就是隐式的元学习。区别：

• LLM 的"经验"是文本而非交互轨迹；
• 外层（预训练）是自监督而非 RL；
• 但"快速适应 = 前向传播内的推断"这个结构完全一致。

这也是为什么 RL² 的视角对理解大模型后训练有价值：微调/对齐是在改"外层"，而上下文学习是"内层"的快速适应——两层互不替代。

定位

元 RL 与多任务学习的分界：多任务学"一个策略同时解决所有任务"（前向推断，无适应），元 RL 学"快速适应的能力"。与目标条件 RL 的关系：目标 $g$ 是一种显式的任务表征（→ 目标条件 RL 与 HER），PEARL 的 $z$ 是隐式的——两条路在"任务表征"上会合。

本章要点

• RL² 把适应过程本身变成 RNN 的前向传播
• 任务分布的设计决定元学习能否成立
• Transformer 的上下文学习是隐式元 RL

相关阅读

• 目标条件 RL 与 HER
• 泛化、过拟合与 Sim-to-Real