计数与伪计数探索
表格情形下 的探索奖励有理论保证；高维下用密度模型或哈希得到伪计数。本章讲伪计数的定义、CTS/PixelCNN 密度模型、SimHash，以及它们在 Montezuma’s Revenge 上的效果。
- 伪计数把密度模型的预测增益转化为计数
- 哈希方法简单但依赖表示
- 内在奖励应随时间衰减
表格情形下 的探索奖励有理论保证；高维下用密度模型或哈希得到伪计数。本章讲伪计数的定义、CTS/PixelCNN 密度模型、SimHash，以及它们在 Montezuma’s Revenge 上的效果。