在物理世界构建可快速响应智能体的方法
第一人称视角的无人机比赛需要专业的飞行队员远程操作高速无人机穿过3D环，可见图1所示。在比赛中，无人机承受的力超过自身重力的5倍多，达到的速度$100km/h$，加速度为重力加速度的许多倍。
深度持续学习的可塑性损失
深度学习网络基于随机梯度下降方法训练后，把网络权重冻结，再进行模型部署推理。然而，世界处于动态变化的，每天都有新的数据产生，从而导致数据分布发生变化。那么，若每次重新训练模型会产生很大的成本，而模型在新的数据上训练往往性能不如重新训练，这是因为学习过程中神经网络的可塑性降低。然而，深度学习在持续学习场景下有效性仍不清楚。Loss of plasticity in deep continual learning论文作者表明标准深度学习方法在持续学习环境中逐渐失去可塑性，直到其性能比浅层网络还要低。他们主要在ImageNet数据集和RL问题中研究了可塑性的损失，且提出了持续反向传播算法以提高算法的可塑性。
理解神经网络的可塑性
FreeU：扩散U-Net的免费午餐
FreeU是研究人员通过研究U-Net网络的骨架和skip连接对去噪过程产生的影响之后，在不需要再训练、额外参数、以及内存或采样时间增加的情况下提升扩散模型而提出的网络架构。如图1所示，FreeU的模型效果。这种改进可以很方便的整合到各种扩散模型，例如：Stable Diffusion, DreamBooth, ModelScope, Rerender and Reversion。
Mamba：具有选择性状态空间的线性时间序列模型
为了提高Transformer处理长序列的效率，研究人员们提出了线性注意力、门控卷积、循环模型、以及SSMs。其中，SSMs模型虽然能够高效的处理长序列数据，但是性能却没有基于注意力的优越。Mamba作者们发现这种模型性能不足的主要原因是无法执行基于内容的推理
浅谈状态空间模型SSM基础理论
状态空间模型是一个描绘系统随时间变化的动态行为，被广泛应用在控制理论、机器人、以及经济学。状态空间模型通过一系列隐藏变量，被称为“状态”，高效的捕获时序数据的依赖关系，从而具象化形态的行为。确切的说，状态空间模型由两种方程构成，分别是：状态方程和观测方程，从而构建时刻$t$输入$x(t)\in\mathbb{R}$和输出$y(t)\in\mathbb{R}$的关系。其中，隐藏状态$h(t)\in\mathbb{R}^N$的维度为$N$。