深度学习的黑盒特性赋予了AI的神秘面纱，有种“巫术”感。在过去数10年的快速发展下，黑盒神经网络展现了惊人的能力，也使研究人员对神经网络有了更深的理解。为了破除神经网络的神秘感，论文White-Box Transformers via Sparse Rate Reduction: Compression Is All There Is?的作者们表明表示学习的目标是把数据的分布变为一个非连续子空间支持的低维混合高斯。这种表示的性能可被稀疏率缩减度量，它不仅最大化表示的内在信息增益，也最的外部稀疏性。根据此理论，推导出了CREATE网络架构，不仅在数学上可被完全解释，也弥补了深度学习理论与实践之间的间隔。
完全信息的博弈或游戏均有最优的价值函数${v}^{*}(s)$，例如：象棋、围棋、西洋双陆棋、以及拼字游戏，也均可迭代地计算最优价值函数解决。然而，由于游戏的搜索空间差别很大，从而导致解决的难度不同。若利用$b$表示游戏的宽度(每个位置可移动的方向)和$f$表示深度(游戏的长度)，那么象棋$b\approx35,d\approx80$与围棋$b\approx250,d\approx150$，对应的搜索空间均为$b^d$。为了降低搜索空间，有两种办法，第一种通过位置评估减少搜索的深度，即把搜索树中状态$s$的子树利用价值函数$v(s)\approx {v}^{*}(s)$替换。这种方法很好的解决了象棋和西洋跳棋问题，但对搜索空间巨大的围棋问题没有得到很好的解决。第二种方法是减少搜索的广度可通过从策略$p(a\vert s)$中采样动作的方式实现，这种方式在西洋双陆棋和拼字游戏中实现了卓越性能，在围棋Go游戏只达到了弱初级选择级别。
第一人称视角的无人机比赛需要专业的飞行队员远程操作高速无人机穿过3D环，可见图1所示。在比赛中，无人机承受的力超过自身重力的5倍多，达到的速度$100km/h$，加速度为重力加速度的许多倍。
深度学习网络基于随机梯度下降方法训练后，把网络权重冻结，再进行模型部署推理。然而，世界处于动态变化的，每天都有新的数据产生，从而导致数据分布发生变化。那么，若每次重新训练模型会产生很大的成本，而模型在新的数据上训练往往性能不如重新训练，这是因为学习过程中神经网络的可塑性降低。然而，深度学习在持续学习场景下有效性仍不清楚。Loss of plasticity in deep continual learning论文作者表明标准深度学习方法在持续学习环境中逐渐失去可塑性，直到其性能比浅层网络还要低。他们主要在ImageNet数据集和RL问题中研究了可塑性的损失，且提出了持续反向传播算法以提高算法的可塑性。
FreeU是研究人员通过研究U-Net网络的骨架和skip连接对去噪过程产生的影响之后，在不需要再训练、额外参数、以及内存或采样时间增加的情况下提升扩散模型而提出的网络架构。如图1所示，FreeU的模型效果。这种改进可以很方便的整合到各种扩散模型，例如：Stable Diffusion, DreamBooth, ModelScope, Rerender and Reversion。