策略梯度的理论问题

策略梯度在 softmax 参数化下的收敛速度、初始化导致的平坦区（plateau）、熵正则化对优化景观的改善。本章综述近年的理论进展及其对实践的启示。

本章要点

• 熵正则化使目标更”凸”
• 自然梯度对参数化不变
• 理论结果多在表格或线性设定下

写作状态

本章目前为提纲，正文待撰写。