理解神经网络的可塑性

可塑性是指神经网络快速改变预测应对新信息的能力。可塑性损失常发生在输入和预测目标随时间发生改变的环境，其神经网络需要“重写”之前的预测。这种场景对于DRL是常见的。因此，理解可塑性损失，损失是否可被缓和，对开发能够应对复杂且常变化环境的DRL智能体，非常重要。对缓解可塑性损失，常见机制是层重置、激活单元重置、以及特征正则化。虽然这些方法观测到表现的提升，但是无法得到导致提升的机制。Lyle等人根据可塑性发生的情况，识别了该机制。

经过实验，作者们发生可塑性损失无法归因于层归一化这种特性。同时，有证据表明损失地形的曲率对神经网络的可塑性有确切的影响，尤其是基于价值的强化学习算法。最终，作者们指出架构的选择可平滑损失地形，例如：类别型输出表示和正则化层，对可塑性提供了很大的提升。然而，扰动参数或其它的正则化并不会使可塑性得到很大的提升。