深度学习网络基于随机梯度下降方法训练后，把网络权重冻结，再进行模型部署推理。然而，世界处于动态变化的，每天都有新的数据产生，从而导致数据分布发生变化。那么，若每次重新训练模型会产生很大的成本，而模型在新的数据上训练往往性能不如重新训练，这是因为学习过程中神经网络的可塑性降低。然而，深度学习在持续学习场景下有效性仍不清楚。Loss of plasticity in deep continual learning论文作者表明标准深度学习方法在持续学习环境中逐渐失去可塑性，直到其性能比浅层网络还要低。他们主要在ImageNet数据集和RL问题中研究了可塑性的损失，且提出了持续反向传播算法以提高算法的可塑性。

- 阅读剩余部分 -

可塑性是指神经网络快速改变预测应对新信息的能力。可塑性损失常发生在输入和预测目标随时间发生改变的环境，其神经网络需要“重写”之前的预测。这种场景对于DRL是常见的。因此，理解可塑性损失，损失是否可被缓和，对开发能够应对复杂且常变化环境的DRL智能体，非常重要。对缓解可塑性损失，常见机制是层重置、激活单元重置、以及特征正则化。虽然这些方法观测到表现的提升，但是无法得到导致提升的机制。Lyle等人根据可塑性发生的情况，识别了该机制。

- 阅读剩余部分 -

首要偏见是指智能体对早期的交互数据过拟合，而对新的交互数据无法学习到新知识。这种现象也存在于人类的认知过程中，例如：人类在学习弹吉他时，一开始基于简单的曲子学习，但是由于过于熟悉之前的经验，进而形成无意识的习惯，从而导致无法根据新经验学习。

- 阅读剩余部分 -