优势函数 Advantage

定义：$A^\pi(s,a) = Q^\pi(s,a) - V^\pi(s)$，策略梯度的核心量，GAE 是其常用估计。

出处：Actor-Critic 与 GAE。