机器人

机器人 RL 从仿真中的运动控制（四足、灵巧手）走向真实世界的操作任务。本章讲仿真训练 + 领域随机化的标准流程、真实世界 RL 的样本效率问题、以及大规模模仿学习与 RL 微调结合的机器人基础模型趋势。

连续控制与 Sim-to-Real 流程

机器人 RL 的标准流程：仿真中训练 + 领域随机化 + 零样本（或微调）迁移到真实：

1. 仿真训练：GPU 并行模拟器（Isaac Lab、MuJoCo/MJX，→ 环境接口与模拟器）里数千环境并行，PPO + GAE 是主力算法（→ TRPO 与 PPO、DDPG、TD3 与 SAC）；
2. 领域随机化：随机化动力学参数（摩擦、质量、电机响应），让真实物理落在训练分布内（→ 泛化、过拟合与 Sim-to-Real）；
3. 迁移：零样本部署，或少量真实数据微调（系统辨识、真实世界微调）。

四足运动是 Sim-to-Real 最成功的案例：ANYmal、Spot 类平台的行走、奔跑、楼梯，全部来自仿真 RL + 随机化——大规模并行让"每个环境只有几分钟生命"的训练成为可能。灵巧手（OpenAI 的魔方、DexterousHand）是第二个标志性成果（样本量更大、随机化更重）。

仿真到真实的残余差距（sim-to-real gap）集中在接触动力学与传感噪声——执行器建模（actuator net：用数据学电机的响应）与触觉/视觉的随机化是当前的主要修复。

真实世界 RL：样本效率与安全

在真实机器人上直接做 RL 的两个硬约束：

• 样本效率：真实时间不可加速——SAC 类 off-policy 方法（回放复用，→ DDPG、TD3 与 SAC）是真实世界 RL 的默认；探索的代价（碰撞、磨损）要显式约束。
• 自动重置与安全约束：真实训练需要自动重置（摔了要扶起来）与安全层（约束动作空间、外部控制器兜底）。真实世界 RL 的工程成本大部分在重置与安全，不在算法。

成功案例集中在"重置容易、试错便宜"的任务（推物、开门）；操作类精细任务（插线、系鞋带）仍是开放问题。

机器人基础模型：模仿 + RL 微调

当前的趋势是大规模模仿学习 + RL 微调：

• 大规模 BC：跨机构数据集（Open X-Embodiment）、视频数据（VPT）训练的视觉—语言—动作模型（VLA，如 RT-2、π0 类）——本质是超大规模行为克隆，泛化靠数据的广度（→ 行为克隆与 DAgger中"大规模 BC 重新流行"）；
• RL 微调：在 BC 之上用 RL 补"数据里没有的技能"——离线 RL（→ 第七卷）或真实世界微调（RLPD、FastRLAP 类），把"见过 90%"的基础模型拉到"能做到 100%"；
• 语言条件化：VLA 的目标空间是语言（"把杯子放到桌上"），接第九卷的范式（→ 目标条件 RL 与 HER中语言目标）。

这个趋势与 LLM 的"预训练 + 后训练"同构：BC 是预训练（数据广度），RL 是后训练（精确化）。RL 的角色从"从头学控制"变成"在基础模型上精修"。

本章要点

• 四足运动是 Sim-to-Real 最成功的案例
• 真实世界 RL 需要自动重置与安全约束
• 视觉—语言—动作模型 + RL 微调

相关阅读

• 泛化、过拟合与 Sim-to-Real
• 行为克隆与 DAgger