马尔可夫决策过程

MDP 是 RL 的标准形式化： $(\mathcal{S}, \mathcal{A}, P, R, \gamma)$ 。本章定义策略、回报、轨迹，讨论折扣因子的双重角色（数学收敛与偏好近期），以及部分可观测（POMDP）时问题如何变难。

交互回路与轨迹

强化学习把学习问题写成智能体与环境的交互：在每一步 $t$ ，智能体观察到状态 $s_t \in \mathcal{S}$ ，选择动作 $a_t \in \mathcal{A}$ ，环境返回奖励 $r_{t+1}$ 并转移到新状态 $s_{t+1}$ 。如此往复，得到一条轨迹：

$s_0,\ a_0,\ r_1,\ s_1,\ a_1,\ r_2,\ s_2,\ \dots$

所有 RL 算法都在回答同一个问题：如何选择动作，使轨迹上的累积回报最大。与监督学习不同，这里的数据分布不是给定的，而是由智能体自己的行为产生——行为决定看到什么数据，数据又反过来决定行为怎么改。这个反馈回路是 RL 区别于监督学习的根源，也是探索问题的来源（→ 探索与利用）。

五元组与马尔可夫性

记号	含义
$\mathcal{S}$	状态集合
$\mathcal{A}$	动作集合
$P(s' \mid s, a)$	转移概率：在 $s$ 执行 $a$ 后到达 $s'$ 的概率
$R(s, a)$	奖励函数：期望即时奖励
$\gamma \in [0, 1)$	折扣因子

马尔可夫性指下一状态只依赖当前状态与动作，与更早的历史条件无关：

$P(s_{t+1} \mid s_t, a_t) = P(s_{t+1} \mid s_0, a_0, \dots, s_t, a_t).$

需要注意：马尔可夫性是对状态表示的要求，而不是对世界的要求。同一个世界里，把速度加入观测往往比只有位置更接近马尔可夫；把关键变量漏掉，问题就退化为 POMDP。实践中"状态表示是否足够好"常常直接决定算法能否收敛。

策略、回报与折扣

策略 $\pi$ 是从状态到动作的（随机）映射： $\pi(a \mid s)$ 给出在状态 $s$ 选择动作 $a$ 的概率，确定性策略是其特例。学习目标定义为期望累积折扣回报：

$G_t = \sum_{k=0}^{\infty} \gamma^k\, r_{t+k+1}, \qquad J(\pi) = \mathbb{E}_{\tau \sim \pi}\,[\,G_0\,].$

折扣因子 $\gamma$ 扮演双重角色：

数学角色：使无穷期回报有界、几何级数收敛。有效视野约为 $1/(1-\gamma)$ ： $\gamma = 0.99$ 意味着约 100 步内的奖励被认真对待，更远的奖励按指数衰减。
行为角色：折扣也是一种"偏好近期"的偏好编码，等效于每一步以 $1 - \gamma$ 的概率终止回合。它是一个真实的算法超参数，而不是可有可无的数学技巧。

对有限 MDP 有两个重要的事实：总存在确定性最优策略 $\pi^*$ ，且它对所有状态同时最优。这让"学一个策略"成为良定义的目标，也是 Q-learning 这类"贪心即最优"算法的理论基础。

部分可观测：POMDP

真实环境中智能体往往看不到完整状态：传感器受限、遮挡、对手隐藏手牌。此时问题变成 POMDP——存在潜在的马尔可夫状态 $s_t$ ，但智能体只观察到 $o_t$ 。最优策略不再只依赖当前观测，而要依赖整个历史，或等价地依赖信念状态（对当前真实状态的后验分布）。实践中常见两种处理方式：

用循环结构（RNN、Transformer）压缩历史，让网络自己学出近似信念状态（→ Dreamer：在潜空间想象中学习）；
用帧堆叠等手工方法，把最近几帧拼接成"状态"（→ 环境接口与模拟器）。

本章要点

折扣 $\gamma$ 决定有效视野约 $1/(1-\gamma)$
马尔可夫性是对状态表示的要求，不是对世界的要求
POMDP 下最优策略需要依赖历史或信念状态