矩阵范数与Spectral标准化
在《Spectral Normalization for Generative Adversarial Networks》中，为了提高GAN中判别器训练的稳定性，利用spectral normalization控制判别器函数f的Lipschitz常数。相较于直接施加Lipschitz约束，该方法显著降低了模型训练和推理的计算复杂度。
Lipschitz Continuity
在深度学习中，Lipschitz continuity常用于约束学习函数的形状，从而起到正则化的作用。那么，该约束的有效性和实现方式是什么？
RL的正则化
off-policy算法样本效率的提升，通常得益于正则化方法使模型在每个环境步数可进行更多的梯度更新步数，即replay-ratio的增加。这是因为正则化可以缓解梯度步数增加而导致高估、过拟合、以及可塑性损失问题。由此，本文试图基于论文《Overestimation, Overfitting, and Plasticity in Actor-Critic: the Bitter Lesson of Reinforcement Learning》阐述off-policy的正则化。
分布式RL：方法
根据算法的on-policy和off-policy，理解RL的扩展。
GANs的演进与训练技巧
GAN由生成器和判别器构成，两者的目标函数均为度量生成数据分布与真实数据分布之间距离的函数。那么，距离度量函数对概率分布序列拟合有很大的影响。同时，GAN的训练非常不稳定，且模型很容易出现模式坍塌，即生成样本的多样性受到损失。因此，对损失函数和训练方法的改进，不断的出现。
RL扩展：网络架构
若要实现RL在参数量上的扩展，那么需要设计一个可降低过拟合风险的网络架构。这种网络架构通常引入了简单性偏差的元件，从而学习出泛化性较强的模型。