SimCLR:一个简单的视觉表示对比学习框架
高效的视觉表示主流的方法可分为两类,分别是生成方式和判别方式。其中,生成方式需要像素级别的生成,产生很多不必要的计算量;判别方式是基于监督学习相似的目标函数学习视觉表示,因此需要设计监督学习的替代任务,这种方式会限制视觉表示的泛化性。SimCLR是一个简单的视觉表示对比学习框架,如图1所示。与之前的对比学习相比,SimCLR即不需要特别的架构,也不需要更多的内存,但是性能优越。
高效的视觉表示主流的方法可分为两类,分别是生成方式和判别方式。其中,生成方式需要像素级别的生成,产生很多不必要的计算量;判别方式是基于监督学习相似的目标函数学习视觉表示,因此需要设计监督学习的替代任务,这种方式会限制视觉表示的泛化性。SimCLR是一个简单的视觉表示对比学习框架,如图1所示。与之前的对比学习相比,SimCLR即不需要特别的架构,也不需要更多的内存,但是性能优越。
YOLOR与YOLOv4属于同一个研究团队发布的模型。该团队开发了一个多任务学习方式,以学习一个通用表示和利用子网络学习任务特定表示的方式创建一个适用于各种任务的模型。
机器人操作是一个时间演化动力系统,需要精细实时控制才能引导机械臂成功完成各种任务。
IBC(Implicit Behavior Cloning)在原理上很简单,就是把行为克隆视作基于能量建模的问题。在推理阶段执行通过采样或梯度下降寻找最优动作$\hat{\mathbf{a}}$的方式执行隐式回归,可见式(1)。
YOLOv4试图找到bag-of-freebies和bag-of-specials之间的平衡。其中,bag-of-freebies只增加训练策略但不增加推理成本,例如:数据增强;bag-of-specials只稍增加推理成本,但大幅度提升性能,例如:扩大感受野、结合特征、以及后处理。
行为克隆算法的前提假设是数据来自于解决特定任务单一模式的专家演示。然而,真实世界的预先收集的数据包含行为的多个模式,即使是同一个人对同样的行为也会展示多种模式。另一方面,Transformer模型容量足够大,且拥有建模多种token的能力。因此,BeT把Transofmer与Behavior Cloning相结合以能够预测多峰分布的动作。