深度学习在硬件的发展下，模型越做越大，但也需要越来越多的数据。然而，标注数据的成本是很高的。在自然语言处理领域，基于自回归和自编码无监督训练的方式，解决数据少的问题。与之相对的，计算机视觉领域的掩码自编码技术发展的很缓慢。MAE作者们对这种不同的原因进行了分析，结果如下：

• 语言与视觉的信息密度不同。语言是人类创造的，拥有高度的语义和信息密度。在训练模型预测句子中丢失单词时，该任务似乎已到模型学习复杂的语言理解。然而，图片来自于自然界，拥有很强的冗余性，例如：丢失的部分可被邻居部分再次恢复，甚至直接都能被识别。
• 自编码器的解码器映射隐式表示到输入，对于图片来说这种映射输出是低语义的，对语言来说这种映射输出是有丰富语义的。然而，BERT基于编码器就能学习到很丰富的语义信息，MAE需要编码器和解码器才能学习到丰富的语义。

- 阅读剩余部分 -

Flamingo研究的动机是实现视觉语言模型的少样本学习；BLIP-2研究的动机是视觉与语言更精细的对齐；PaLM-E研究的动机是多模态模型适应机器人操纵任务的方法及视觉信息的编码方法。PaLI-X在PaLI模型基础之上研究视觉-语言模型的扩展和训练方法。如图1中左图所示，随着模型的扩展，PaLI模型在不同任务上性能都得到了提升，甚至超越了专业模型。同时，PaLI-X也提升了少样本微调和微调在Pareto边界上SOTA的结果，可见图1中右图所示。与PaLI相比，PaLI-X不仅扩展到更大的模型，还在多任务上同时微调。

- 阅读剩余部分 -

PaLM-E架构的核心思想是把连续的观测，例如：图片、状态估计、传感器数据，注入到预训练语言模型的embedding空间。这种注入的实现方式为把连续观测编码为与语言token的embedding维度相同embedding。PaLM-E是语言模型PaLM与视觉编码器的整合。如图1所示，PaLM-E的架构。

- 阅读剩余部分 -

多模态模型的预训练成本越来越高，且之前的模型在对齐模态上的能力不足够，例如：Flamingo利用以视觉为条件的文本生成损失，仍不足以弥合模态之间的间隔。BLIP-2通过轻量级的Quering Transformer弥合模态之间的间隔，且经历两个阶段的预训练。第一阶段基于frozen视觉编码器进行视觉-语言表示学习，第二阶段基于frozen语言模态进行视觉语言生成学习。在性能，BLIP-2拥有少于Flamingo54倍的参数，且在VQAv2数据集表现高于Flamingo80B 8.7%。如图1所示，BLIP-2架构。

- 阅读剩余部分 -

在Flamingo之前，多模态模型主要的范式是预训练-微调。然而，有效的微调需要大量的标注数据，也需要精细的超参数微调，且微调需要更新全部参数，这种成本是很高的。虽然基于对比目标的多模态模型能够实现新任务上的少样本学习，但是只能应对有限的情况，无法应用于开放任务，例如：视觉问题回答、看图说话。大语言模型GPT3只需要根据新任务少量的提示-输入-输出的数据就能够实现较强的表示，这种范式被称为少样本学习。FLamingo在这一背景下被提出，它利用一个视觉模型感知视觉场景和语言模型执行推理。新的架构元件连接视觉模型和语言模型，且只有新元件参与训练。基于Perceiver视觉感知模型，Flamingo能够处理高分辨率图片和视频。如图1所示，Flamingo的网络架构。

- 阅读剩余部分 -

机器人任务的表述有三种形式，分别是模仿one-shot演示、跟随语言指令、以及实现视觉目标。然而，这三种方式处理的任务不同，且模型也不同。基于提示的学习在自然语言处理领域展现了通用能力，单个模型可以处理各种各样的任务。VIMA是一个机器人领域的通用智能体，基于多模态提示学习的transformer架构。

- 阅读剩余部分 -