SoTA扩散模型增量式的把数据转变为高斯噪音，被称为扩散过程，该过程可被建模为把原始数据分布迭代的平滑为正态分布的时变分布。扩散模型的学习目标要么为预测扩散过程中的噪音，要么为预测数据与高斯之间分布的分数。然而，扩散过程限制了数据和高斯之间的联系，直到随机插值的出现。SiT作者们探究了随机插值带来的灵活性对大规模图片生成的影响。除此之外，作者们研究了学习目标的选择和推理时模型的采样问题。基于这些研究，作者们在设计空间中采取一系列正交步骤从扩散模型转换为插值模型。最终，不仅简化了学习问题而且提升了算法性能。

- 阅读剩余部分 -

一致性模型 (Consistency Model, CM)属于一类可实现快速采样的扩散生成模型。然而，利用离散化时间步训练的一致性模型，往往需要引入辅助参数且容易产生离散化误差，从而造成样本质量不佳。与之相对的，连续时间范式的模型缓和了该问题，但会产生训练的不稳定性。为了解决该问题，sCMs作者们提出了TrigFlow范式，统一了EDM和Flow Matching，显著简化了扩散模型范式。在该基础上，分析了CM训练不稳定的根本原因，且提出了improved time-conditioning和自适应group normalization用于缓解该问题。除此之外，作者们也重新阐释了连续时间的CMs，其包含关键项自适应权重与正则化，以及可产生稳定训练和可扩展训练的渐进衰退。

- 阅读剩余部分 -

扩散模型从噪音中生成数据，已经成为从自然语言中生成高分辨率图片和视频的标准方式。然而，扩散模型的迭代性本质造成了很大的计算成本，以及推理时较长的采样时间。为了提升扩散模型的效率，研究人员也提出了很多模型，例如：Consistency Model，但需要考虑采样路径选择的问题。这是因为路径的选择对采样有很重要的影响，例如：论文Common Diffusion Noise Schedules and Sample Steps are Flawed表明无法从数据中移除所有噪音的路径可能导致训练数据与测试数据之间分布的差异，甚至导致伪影的产生。同时，前向过程的选择也影响着反向过程的采样效率。

- 阅读剩余部分 -

扩散模型的性能虽优越，但是其限制了采样概率路径的空间。同时，扩散模型不仅拥有较长的训练时间，还需要通过蒸馏等方法提高采样效率。与之相比，连续正则化流CNFs能够建模任意的概率路径，但受限于无可扩展的CNF训练算法。为了解决CNFs模型训练的不稳定性，流匹配FM是一个基于回归固定条件概率路径向量场的Simulation-Free训练方法，为CNFs模型训练提供了等效梯度。该方法不仅拥有较好的样本质量，且训练与推理效率得到了很大的提升。

- 阅读剩余部分 -