FiLM：带有通用条件层的视觉推理
Feature-wise Linear Modulation(FiLM)是一个神经网络通用目的的调节方法，通过特征级别的仿射变换影响神经网络计算。实验结果，表明，FiLM层对视觉推理任务非常有效，例如：回答图片相关的问题。然而，这类问题对标准深度学习方法来说很困难。
分类 基础模型 下的文章
RT2：视觉-语言-动作模型将网络知识迁移到机器人控制
RT-1：用于真实世界大规模控制的机器人Transformer
在自然语言处理与计算机视觉领域，高容量模型基于开放的不可知的任务训练，可以吸收大规模数据集中呈现的知识，从而学习到通用能力。然后，该模型可以在特定的新任务实现少样本或零样本泛化的能力。这种通用能力在机器人领域更为重要。
ViT：视觉编码器
如图1所示，ViT整体架构很简单，由Transformer的Encoder构成，非双向。首先，图片分成$N$块patch，作为输入序列的token。然后，$N$token被打平，再输入线性映射层得到embedding。接下来，patch embedding与position embedding相加输入Encoder。与Bert的class token一样，也有一个可学习类别embedding的token $z_0^0$，其在Encoder对应输出$z_L^0$是整个图片的表示。最后，$z_L^0$输入到MLP网络预测类别，即在图片分类任务上预训练。
Q-Transformer
在机器人领域中，基于监督学习范式的大容量模型往往受限于被提供的高质量数据。之所以产生这种现象是因为人类往往希望机器人能够比专家更专业。同时，也希望机器人能够基于自己收集的数据取得更好的性能，而不是基于演示数据。在以上问题中，强化学习虽然能够展现出卓越的性能，但是基于强化学习算法的大容量模型很难大规模的实例化。本篇论文主要的目的是把大规模多样数据集与基于Transformer的策略架构结合。
Decision Transformer
Decision Transformer效果主要在游戏中评估，并未在机器人领域得到验证。与RL算法相比，该算法的建模思路或思想完全不同。Decision Transformer把RL的序列决策问题变为了条件轨迹序列建模。这样的建模方式会规避掉RL中非线性函数、Bootstrapping、以及off-policy的致命三元素和未来奖励折扣。同时，基于Tansformer的方式能够直接通过自注意力进行信用分配。