状态空间模型是一个描绘系统随时间变化的动态行为，被广泛应用在控制理论、机器人、以及经济学。状态空间模型通过一系列隐藏变量，被称为“状态”，高效的捕获时序数据的依赖关系，从而具象化形态的行为。确切的说，状态空间模型由两种方程构成，分别是：状态方程和观测方程，从而构建时刻$t$输入$x(t)\in\mathbb{R}$和输出$y(t)\in\mathbb{R}$的关系。其中，隐藏状态$h(t)\in\mathbb{R}^N$的维度为$N$。

- 阅读剩余部分 -

扩散模型的性能虽优越，但是其限制了采样概率路径的空间。同时，扩散模型不仅拥有较长的训练时间，还需要通过蒸馏等方法提高采样效率。与之相比，连续正则化流CNFs能够建模任意的概率路径，但受限于无可扩展的CNF训练算法。为了解决CNFs模型训练的不稳定性，流匹配FM是一个基于回归固定条件概率路径向量场的Simulation-Free训练方法，为CNFs模型训练提供了等效梯度。该方法不仅拥有较好的样本质量，且训练与推理效率得到了很大的提升。

- 阅读剩余部分 -

与VAE相比，VQ-VAE的编码器输出是离散的编码。同时，利用向量量化(VQ)不仅可拥有方差小的特性，也可克服“后验坍塌”问题。其中，“后验坍塌”是指VAE的编码器若为性能优越的自回归解码器，那么隐式编码会被忽视。若隐式表示与可学习的自回归先验相结合，模型可生成高质量的样本，那么证明了学习到表示是高效用。

- 阅读剩余部分 -

CLIP中对比学习损失，需要计算两次softmax标准化。同时，softmax的实现数值不稳定，通常在softmax计算之前减去最大输入，从而稳定化计算。与之不同，sigmoid损失属于对称的，只需要在图片-文本对上计算，不需要计算所有对的相似度用于标准化。若把该损失函数与CLIP相结合，那么模型被称为SigLIP。与LiT相结合，只需要利用4张TPUv4芯片，训练SigLiT模型两天可在ImageNet上实现84.5%的零样本准确率。同时，这种batch size与损失的解耦合，从而可使作者们研究正负样本比例的影响，即batch size对性能的影响。

- 阅读剩余部分 -

在自然语言处理领域，基于Transformer为网络架构的自监督预训练为任务提供了丰富的学习信号，从而实现了突破性进展。在视觉领域，ViT基于标签作为监督信号进行预训练，性能超过了基于ConvNets的模型。DINO作者们质疑ViT拥有优越性能是由监督信号导致的。由此，研究了基于ViT特征的自监督预训练的影响。

- 阅读剩余部分 -

Transformer在自然语言处理、视觉、以及许多其它领域得到了广泛的应用。然而，在图像相关的生成模型领域很少采用Transformer网络架构，例如：扩散模型利用卷积U-Net作为网络架构。对于基于U-Net的扩散模型，ADM作者们分析了网络扩展性与网络复杂性度量Gflop的特性。与之不同，DiT作者们揭开了扩散模型的网络架构选择的重要性，且对未来生成模型研究提供了经验。确切的说，在隐式扩散模型LDMs框架下，构建了基于Transformer扩散模型的设计空间，研究了网络复杂度与样本质量之间的关系，即模型的扩展性。

- 阅读剩余部分 -