CMC：对比多视角编码
动物通过多个渠道感知世界，例如：眼睛接受光波较长的光渠道和耳朵接受高频的振动驱动。每个渠道都是有噪音的和不完备的，但是所有视角共享相同的重要因素，例如：物理、几何、以及语义。CMC作者提出了一个假设：一个表达力较强的表示应能够建模多视角不变的因素。因此，作者们在多视角对比学习框架下研究该假设，主要方式是最大化相同场景不同视角之间的互信息，反之最小化。最终，该方法可以扩展到任何数量的视角。如图1所示，CMC框架。
分类 基础模型 下的文章
SimCLR：一个简单的视觉表示对比学习框架
高效的视觉表示主流的方法可分为两类，分别是生成方式和判别方式。其中，生成方式需要像素级别的生成，产生很多不必要的计算量；判别方式是基于监督学习相似的目标函数学习视觉表示，因此需要设计监督学习的替代任务，这种方式会限制视觉表示的泛化性。SimCLR是一个简单的视觉表示对比学习框架，如图1所示。与之前的对比学习相比，SimCLR即不需要特别的架构，也不需要更多的内存，但是性能优越。
GAN：生成式对抗网络
生成式对抗网络虽然概念上直接，但是其背后的理论值得深究。简单来说，GAN定义了两个网络，分别是生成网络$G(z;\theta_g)$和判别网络$D(x;\theta_d)$。生成网络基于先验分布$p_z(z)$生成数据$x$的分布$p_g$。判别网络用于判别样本来自于训练数据$x$而不是$p_g$的概率。
视觉-语言模型CLIP的核心技术点
自然语言处理领域基于原始文本的预训练模型已经可以实现零样本泛化到下游任务，且性能优越于基于高质量标签数据的模型。然而，在计算机视觉领域基于图片预测标签的SOTA模型，要么是有监督的训练，要么是预训练-微调的方式，且模型的规模也无法与GPT3这样的模型相比。作者们提出了CLIP(Contrastive Lanuage-Image Pre-training)，该模型利用自然语言监督的方式在图片分类任务上大规模的训练模型。
Score-SDE：基于随机微分方程的分数估计扩散模型
扩散模型是一类概率生成模型，它通过注入噪声逐步破坏数据，然后学习其逆过程，以生成样本。目前，扩散模型主要有三种形式：去噪扩散概率模型[2,3] (Denoising Diffusion Probabilistic Models, 简称DDPMs)、基于分数的生成模型[4,5] (Score-Based Generative Models,简称SGMs)、基于随机微分方程估计分数的模型[6,7,8] (Stochastic Differential Equations,简称Score SDEs)。
SGMs：基于分数的生成模型
扩散模型是一类概率生成模型，它通过注入噪声逐步破坏数据，然后学习其逆过程，以生成样本。目前，扩散模型主要有三种形式：去噪扩散概率模型[2,3] (Denoising Diffusion Probabilistic Models, 简称DDPMs)、基于分数的生成模型[4,5] (Score-Based Generative Models,简称SGMs)、随机微分方程[6,7,8] (Stochastic Differential Equations,简称Score SDEs)。