Bellman 方程

定义：$V^\pi(s) = \mathbb{E}_\pi[r + \gamma V^\pi(s')]$；最优版本把期望换成对动作取最大。

出处：价值函数与 Bellman 方程。