价值函数与 Bellman 方程

状态价值 $V^\pi$ 与动作价值 $Q^\pi$ 满足 Bellman 期望方程，最优价值满足 Bellman 最优方程。本章推导这两组方程，说明它们为何是压缩映射，以及"策略评估 + 策略改进"这一贯穿全书的模式。

两类价值函数

给定策略 $\pi$ ，状态价值函数与动作价值函数定义为从该处出发、按 $\pi$ 行动所能获得的期望回报：

$V^\pi(s) = \mathbb{E}_\pi[\,G_t \mid s_t = s\,], \qquad Q^\pi(s, a) = \mathbb{E}_\pi[\,G_t \mid s_t = s,\ a_t = a\,].$

两者由条件期望联系： $V^\pi(s) = \mathbb{E}_{a \sim \pi}\,Q^\pi(s, a)$ 。 $Q$ 比 $V$ 多了一层"如果我现在选这个动作"的反事实信息，这正是控制问题需要的：比较各个动作的价值，然后选最好的。

Bellman 期望方程

价值函数的核心是递归结构：一个状态的价值 = 即时奖励 + 折扣后的下一状态价值。对期望方程，把回报按第一步展开、再用条件期望拆开，得到

$V^\pi(s) = \mathbb{E}_{a \sim \pi}\,\mathbb{E}_{s' \sim P}\big[\,r + \gamma V^\pi(s')\,\big],$

$Q^\pi(s, a) = \mathbb{E}_{s' \sim P}\big[\,r + \gamma\, \mathbb{E}_{a' \sim \pi}\, Q^\pi(s', a')\,\big].$

两条递归互相咬合： $V$ 对动作取期望进入 $Q$ ， $Q$ 对下一状态取期望回到 $V$ 。这只是对定义的恒等变形，不含任何近似——它是精确成立的事实，也是所有价值方法（DP、MC、TD）共同的出发点。

Bellman 最优方程

把"按 $\pi$ 行动"换成"每一步都选最优动作"，得到最优价值：

$V^*(s) = \max_a\ \mathbb{E}\big[\,r + \gamma V^*(s')\,\big], \qquad Q^*(s, a) = \mathbb{E}\big[\,r + \gamma \max_{a'} Q^*(s', a')\,\big].$

一旦知道 $Q^*$ ，最优策略就免费得到： $\pi^*(s) = \arg\max_a Q^*(s, a)$ 。这是"学价值而非学策略"路线的全部赌注——解方程比直接优化策略更容易时，这条路划算。

压缩映射与收敛

把 Bellman 最优方程右端看作算子 $\mathcal{T}$ ，它在无穷范数下是 $\gamma$ -压缩：

$\lVert \mathcal{T}V_1 - \mathcal{T}V_2 \rVert_\infty \le \gamma\, \lVert V_1 - V_2 \rVert_\infty.$

由 Banach 不动点定理， $\mathcal{T}$ 有唯一不动点 $V^*$ ，从任何初始值迭代 $\mathcal{T}$ 都以几何速度收敛到它。这是表格情形下值迭代必然收敛的原因（→ 策略迭代与值迭代）。

策略评估 + 策略改进

Bellman 方程还给出了一个贯穿全书的两步模式：

策略评估：解（或近似解）Bellman 期望方程，得到当前策略的价值；
策略改进：对新价值取贪心 $\pi'(s) = \arg\max_a Q^\pi(s, a)$ ，可证明 $\pi'$ 不会更差。

交替执行两者，收敛到最优策略。策略迭代与值迭代是这个模式的精确版本，蒙特卡洛与时序差分是它的采样版本，Actor-Critic 是它的函数逼近版本，MCTS 则把"改进"一步换成了搜索（→ MCTS 与 AlphaZero）。Sutton & Barto 把这个抽象模式称为广义策略迭代（GPI）。

优势函数

优势函数衡量一个动作比当前策略的平均水平好多少：

$A^\pi(s, a) = Q^\pi(s, a) - V^\pi(s).$

它把"绝对好坏"变成"相对好坏"，去掉了不同状态间奖励尺度的差异，是策略梯度的核心量（→ 策略梯度定理与 REINFORCE），其常用估计是 GAE（→ Actor-Critic 与 GAE）。

本章要点

$Q^*(s,a) = \mathbb{E}[r + \gamma \max_{a'} Q^*(s',a')]$
Bellman 算子是 $\gamma$ -压缩，迭代必收敛（表格情形）
优势函数 $A = Q - V$ 是策略梯度的核心量