BeT：一次克隆K个模式
行为克隆算法的前提假设是数据来自于解决特定任务单一模式的专家演示。然而，真实世界的预先收集的数据包含行为的多个模式，即使是同一个人对同样的行为也会展示多种模式。另一方面，Transformer模型容量足够大，且拥有建模多种token的能力。因此，BeT把Transofmer与Behavior Cloning相结合以能够预测多峰分布的动作。
标签 Transformers 下的文章
ViT：视觉编码器
如图1所示，ViT整体架构很简单，由Transformer的Encoder构成，非双向。首先，图片分成$N$块patch，作为输入序列的token。然后，$N$token被打平，再输入线性映射层得到embedding。接下来，patch embedding与position embedding相加输入Encoder。与Bert的class token一样，也有一个可学习类别embedding的token $z_0^0$，其在Encoder对应输出$z_L^0$是整个图片的表示。最后，$z_L^0$输入到MLP网络预测类别，即在图片分类任务上预训练。
Q-Transformer
在机器人领域中，基于监督学习范式的大容量模型往往受限于被提供的高质量数据。之所以产生这种现象是因为人类往往希望机器人能够比专家更专业。同时，也希望机器人能够基于自己收集的数据取得更好的性能，而不是基于演示数据。在以上问题中，强化学习虽然能够展现出卓越的性能，但是基于强化学习算法的大容量模型很难大规模的实例化。本篇论文主要的目的是把大规模多样数据集与基于Transformer的策略架构结合。
Decision Transformer
Decision Transformer效果主要在游戏中评估，并未在机器人领域得到验证。与RL算法相比，该算法的建模思路或思想完全不同。Decision Transformer把RL的序列决策问题变为了条件轨迹序列建模。这样的建模方式会规避掉RL中非线性函数、Bootstrapping、以及off-policy的致命三元素和未来奖励折扣。同时，基于Tansformer的方式能够直接通过自注意力进行信用分配。