EDM：阐明基于扩散生成模型的设计空间
扩散模型的理论密度、采样调度器的推导、训练动力学、以及噪音级别参数化确保了模型在一个坚实的理论基础。然而，这种方式往往模糊了设计空间，即一个模型由紧的耦合包构成。EDM作者们关注了“有型”的对象和训练与采样中的算法，很少关注统计过程，从而在整个系统的设计空间中对元件的连接方式和自由度有了更好的洞见。此外，还有如下贡献：
- 研究了基于扩散模型合成图片的采样过程。
- 研究了基于分数建模神经网络的训练。
分类 基础模型 下的文章
Consistency Models：一致性模型
扩散模型显著地提升了图片、音频、视频生成领域，这种模型依赖迭代的采样过程，从而导致生成速度很慢。为了解决生成慢的问题，一致性模型被提出。这种模型的核心思想是从相同轨迹上任何一点开始采样，最终的输出为一致的，可见图1所示。一致性模型有两种训练方式，分别是蒸馏预训练扩散模型和生成模型的直接训练。通过实验表明这两种方式在one-step和few-step生成上均实现了新SOTA的结果，即一致性模型不仅能够执行单步采样，且拥有迭代性采样的优势。
通用感知模块Perceiver与Fourier特征
感知模型的网络架构往往受限于特定模型，例如：卷积神经网络只能处理2D图片视觉信息。然而，现实世界往往需要处理多种模态，而只是把每个模型的特征concat到一起是不合理的。Perceiver是一个可以处理不同模态的网络架构，且该架构不具有特定的推断偏差，网络架构可见图1所示。同时，为了引入模态中的时空信息，利用Fourier特征增加位置信息。
Beta-VAE：利用一个受约束的变分框架学习基本的视觉概念
学习一个任务的困难程度显著的受到数据表示方式的影响。根据相关文献，可知，数据生成因子的一个disentangled representation可适用于大量的任务与领域。其中，disentangled representation被定义为单个隐式单元对单个生成因子的变化较敏感，且对其它因子的变化保持相对不变。
一文看懂基础模型在机器人领域的应用与机器人的基础模型的研究进展
MobileLLM：优化小于1B参数的大语言模型
大语言模型正在渗透人类生活各种方面，不仅影响人类的交流与工作，而且重塑每日娱乐生活方面。然而，LLMs运行在云环境中，需要大量的计算资源，这不仅导致大语言模型无法部署在移动设备上，而且对能量消耗与碳排放带来了巨大挑战。根据该观察，MobileLLM是一个小于1B参数量的模型，可部署在移动设备上，且与同规模的模型相比性能得到了提升，可见图1所示。