价值函数与 Bellman 方程

状态价值 $V^\pi$ 与动作价值 $Q^\pi$ 满足 Bellman 期望方程，最优价值满足 Bellman 最优方程。本章推导这两组方程，说明它们为何是压缩映射，以及”策略评估 + 策略改进”这一贯穿全书的模式。

本章要点

• $Q^*(s,a) = \mathbb{E}[r + \gamma \max_{a'} Q^*(s',a')]$
• Bellman 算子是 $\gamma$-压缩，迭代必收敛（表格情形）
• 优势函数 $A = Q - V$ 是策略梯度的核心量

相关阅读

• 策略迭代与值迭代

写作状态

本章目前为提纲，正文待撰写。