RoboFlamingo：视觉语言基础模型作为高效的机器人模仿者
RoboFlamingo是一款新颖的视觉-语言操纵框架，建立在开源的视觉-语言模型OpenFlamingo基础之上。与之前的框架不同，它利用预训练的VLMs作为视觉-语言理解，基于明确的策略head建模序列历史信息，且只是在语言为条件的模仿学习操纵数据集上微调。最终，RoboFlamingo能够灵活的使用开环控制，且能够部署在低成本的设备上，模型的训练与评估也只是基于单个GPU的服务器实现。
EfficientNet：重新思考CNN网络的扩展
在视觉领域，网络越深模型的精度越高，但是越深也意味着参数越多，从而需要越多的内存。因此，EfficientNet作者们围绕是否存在一个准则可以扩展卷积网络从而实现更高的精度和效率这一问题，研究了卷积网络的扩展。实验研究发现，平衡网络的宽度、深度、以及分辨率对性能很重要，而且这种平衡可通过一个常量系数扩展网络所实现。由此，作者们提出了复合扩展，如图1所示。
概述多模态大语言模型的演进
MLLM发展遵循着LLM的相似路径，Flamingo是第一个大规模探索上下文学习的视觉语言模型。之后，visual instruction-tuning很快成为了最重要的训练范式。如图1所示，MLLM至少包含三个元件：一个LLM backbone为用户提供接口、一个视觉编码器、以及一个或多个视觉语言自适应模块。
VAE：自动编码变分贝叶斯
基于非参数实例判别的无监督特征学习
在监督学习任务中，发现，深度神经网络能够捕获语义相似性。如图1所示，在图片分类任务中，豹的子类与豹这个类别的可能性是最高的，而其它与豹完全不相关的类别的可能性最低，这说明深度神经网络能够捕获类别语义的相似性。这种语义相似性不是语义标签带来的，而是直接从视觉数据中学习得到的。那么，进一步地，能否学习一种表示，它能够反映出实例之间的相似性。
CMC：对比多视角编码
动物通过多个渠道感知世界，例如：眼睛接受光波较长的光渠道和耳朵接受高频的振动驱动。每个渠道都是有噪音的和不完备的，但是所有视角共享相同的重要因素，例如：物理、几何、以及语义。CMC作者提出了一个假设：一个表达力较强的表示应能够建模多视角不变的因素。因此，作者们在多视角对比学习框架下研究该假设，主要方式是最大化相同场景不同视角之间的互信息，反之最小化。最终，该方法可以扩展到任何数量的视角。如图1所示，CMC框架。