强化学习中的经验回放

一、时序差分学习（Temporal Difference Learning）

强化学习中常用时序差分学习来更新模型，时序差分学习的一般流程是：

原始的时序差分学习在实际的应用中有两个缺点：

经验浪费从上面的流程可以看出，经验 $(s_r, a_t, r_t, s_{t+1})$ 在使用一次后就会被丢掉。但是事实上，这些经验可以重复利用的。这也是需要做经验回放的主要原因。
经验相关性太强前后相邻的经验的相关性太强了。比如对游戏来说，上一帧的画面和下一帧的画面变化很小。实验证明这种相关性是有害的，不利于模型的训练。

经验回放则可以有效的解决上面的两个缺点。

经验回放的原理就是只保留最近的 $n$ 条经验，每次训练时 随机均匀的 从这些经验中 不重复的 选取一条或多条经验来训练。

$n$ 的大小通常在十万到百万之间，视情况而定。这个值对训练影响较大。经验回放现在是深度强化学习的标准技巧之一。

对经验回放改进有很多，其中一个常见的是优先经验回放。

优先经验回放的原理是 用非均匀抽样代替均匀抽样 来抽取经验。

模型在和环境交互时，获得的经验的重要性是不同的。

比如：在一个打怪升级的游戏中，大多数经验都是和小兵战斗，只有很少的经验是和BOSS战斗。这样就容易导致训练出来的模型容易战胜小兵，但是很难打赢BOSS。所以和BOSS战斗的经验比和小兵战斗的经验更为重要。

对于越不熟悉的状态，模型预测出的 TD error 的绝对值就会越大，所以可以根据 TD error 的绝对值的大小来判断一条经验的重要性。即 TD error 的绝对值越大越重要。

将 TD error 对应到抽样概率的方式有两种：

经验抽样的概率 $p_t$ 正比于 TD error $\delta_t$ 的绝对值加上一个很小的数 $\epsilon$ （避免概率为0）。
$p_t \propto \vert \delta_t \vert + \epsilon$
将所有经验的 TD error 的绝对值进行排序，大的靠前，小的靠后。经验抽样的概率反比于排序后经验所处的位置。
$p_t \propto \frac{1}{rank(t)}$

因为抽样时是非均匀的，所以需要调整学习率来抵消不同抽样概率造成的偏差。

如果一条经验的抽样概率很大，那么它就会经常的被抽到用于更新模型，所以需要调小这条经验的学习率。反之亦然。

每条经验的学习率都需要乘以系数 $(n \cdot p_t)^{-\beta}$ ，其中 $n$ 是经验回放池中经验的总条数， $p_t$ 是每条经验的抽验概率， $\beta$ 是一个超参数，值在0到1之间， $\beta \in (0, 1)$ 。

对于均匀抽样来说，每条经验概率相同， $p_1 = \cdots = p_n = \frac{1}{n}$ ，学习率系数 $(n \cdot p_t)^{-\beta}$ 值的和为1。

对于非均匀抽样来说，抽样概率 $p_t$ 越大，学习率系数 $(n \cdot p_t)^{-\beta}$ 的值越小。论文中推荐开始时 $\beta$ 值很小，后面逐步增长到1。

需要将所有的经验 $(s_r, a_t, r_t, s_{t+1})$ 都计算出对应的 TD error。

对于刚刚收集到的经验，可以将其 TD error 的值设置为最大值。

每次使用经验后都需要更新对应的 TD error 。

参考：Experience Replay 经验回放论文：Reinforcement Learning for Robots Using Neural Networks 优先经验回放论文：Prioritized Experience Replay