Score-Based扩散模型中表明可利用训练中不可获得的信息调节生成过程。这是因为conditional reverse-time SDE可高效的从unconditional分数中估计。为了实现可控生成，通常需要进行引导。接下来，详细介绍该两部分内容。

- 阅读剩余部分 -

在解决控制任务时，RL呈现出样本效率低和模型表达能力有限的问题。为了提升RL的表达能力，一系列工作尝试把扩散模型与RL相结合。本篇文章主要介绍对于offline RL数据集，如何利用扩散模型解决RL问题，以及如何处理下游任务？

- 阅读剩余部分 -

GAN由生成器和判别器构成，两者的目标函数均为度量生成数据分布与真实数据分布之间距离的函数。那么，距离度量函数对概率分布序列拟合有很大的影响。同时，GAN的训练非常不稳定，且模型很容易出现模式坍塌，即生成样本的多样性受到损失。因此，对损失函数和训练方法的改进，不断的出现。

- 阅读剩余部分 -

一致性模型已经成为了生成模型的新家族，该模型可以在不需要对抗训练的情况下实现单步高质量数据采样。

一致性模型的训练有两种方式，分别是一致性蒸馏和一致性训练。其中，一致性蒸馏需要预训练一个扩散模型，再把知识蒸馏到一致性模型；一致性训练直接从数据中训练一致性模型，把其视为独立的生成模型家族。对于一致性蒸馏，因其需要预训练扩散模型而导致计算量的增加，且蒸馏方式限制了一致性模型的能力。对于一致性训练所依赖的度量函数LPIPS，主要存在两个缺点，一个是由于LPIPS和FID均在ImageNet数据集上训练，会因特征泄漏产生潜在的评估偏差；另一个是该度量需要需要预训练辅助网络用于特征抽取，从而增加了计算预算。

- 阅读剩余部分 -

SoTA扩散模型增量式的把数据转变为高斯噪音，被称为扩散过程，该过程可被建模为把原始数据分布迭代的平滑为正态分布的时变分布。扩散模型的学习目标要么为预测扩散过程中的噪音，要么为预测数据与高斯之间分布的分数。然而，扩散过程限制了数据和高斯之间的联系，直到随机插值的出现。SiT作者们探究了随机插值带来的灵活性对大规模图片生成的影响。除此之外，作者们研究了学习目标的选择和推理时模型的采样问题。基于这些研究，作者们在设计空间中采取一系列正交步骤从扩散模型转换为插值模型。最终，不仅简化了学习问题而且提升了算法性能。

- 阅读剩余部分 -

一致性模型 (Consistency Model, CM)属于一类可实现快速采样的扩散生成模型。然而，利用离散化时间步训练的一致性模型，往往需要引入辅助参数且容易产生离散化误差，从而造成样本质量不佳。与之相对的，连续时间范式的模型缓和了该问题，但会产生训练的不稳定性。为了解决该问题，sCMs作者们提出了TrigFlow范式，统一了EDM和Flow Matching，显著简化了扩散模型范式。在该基础上，分析了CM训练不稳定的根本原因，且提出了improved time-conditioning和自适应group normalization用于缓解该问题。除此之外，作者们也重新阐释了连续时间的CMs，其包含关键项自适应权重与正则化，以及可产生稳定训练和可扩展训练的渐进衰退。

- 阅读剩余部分 -