致命三要素

三者同时出现时，即使线性函数逼近的 TD 也可能发散（Baird 反例）。本章解释发散机制、为什么 DQN 在实践中通常没事、以及 Gradient TD、目标网络、正则化等缓解手段。