GANs的演进与训练技巧
GAN由生成器和判别器构成，两者的目标函数均为度量生成数据分布与真实数据分布之间距离的函数。那么，距离度量函数对概率分布序列拟合有很大的影响。同时，GAN的训练非常不稳定，且模型很容易出现模式坍塌，即生成样本的多样性受到损失。因此，对损失函数和训练方法的改进，不断的出现。
RL扩展：网络架构
若要实现RL在参数量上的扩展，那么需要设计一个可降低过拟合风险的网络架构。这种网络架构通常引入了简单性偏差的元件，从而学习出泛化性较强的模型。
分布式RL：训练框架
面对复杂任务时，RL算法需要与环境交互生成大量的数据用于学习，才能实现期望的性能。对于大量数据需求的挑战，有两种应对方法，分别是分布式训练和提升样本效率。其中，分布式训练是指智能体与数千个仿真环境交互以生成训练数据；样本效率提升的主要目的是提高利用有限数据的能力。
RL扩展：扩展性理论
对于神经网络，扩展性主要指随着数据量或计算量的增加，模型的性能变化情况。研究神经网络扩展性的目的是：期望通过小规模实验预测大规模实验的模型性能，从而降低大规模实验的成本。同样的，论文《Value-Based Deep RL Scales Predictably》研究了基于价值RL的扩展性和性能可预测性。
RL算法不适用于持续型任务的技术点及应对方法
时下，RL主要处理episode任务或单一episode的持续任务，论文《Discounted Reinforcement Learning Is Not an Optimization Problem》分析了该范式的技术有哪些不适用于显著不同episode的持续任务的呢？
新视角理解大语言模型
谈到大语言模型，通常想到的是预训练、有监督微调、RLHF、以及思维链提升。然而，这些都是站在LLMs的技术细节理解。与之不同，本文站在基础模型的角度理解大语言模型，也可以理解为站在应用或提升其特定能力的角度。