经典的控制器是针对特定任务设计的，很难使机器人拥有敏捷的动作和多样的动作，运动呈现不灵活性，且很难应用到户外任务。同时，控制器的设计需要丰富经验的工程师，耗费大量时间才能设计出来，时间成本很高。与之相对的，最近基于强化学习的控制器在仿真环境中能够表现出良好的性能，它的缺点就是仿真与现实之间的gap很难处理，常见有两种处理方法，分别是提高仿真的可信度和提高策略的鲁棒性。

- 阅读剩余部分 -

经典的足式机器人主要是基于物理动力学和控制理论实现，这种方法需要大量的专家设计才能有效果。然而，这种方式仍然无法应对不确定性的环境。最近，基于强化学习和模仿学习的范式取得了很大的成功。然而，强化学习用于机器人存在Sim2Real Gap的问题，阻碍了发展。对于该问题经典的解决方案是利用Sim2Real技术把算法模型从虚拟环境迁移到真实环境，仍然具有很大的挑战。

- 阅读剩余部分 -

在机器人领域中，基于监督学习范式的大容量模型往往受限于被提供的高质量数据。之所以产生这种现象是因为人类往往希望机器人能够比专家更专业。同时，也希望机器人能够基于自己收集的数据取得更好的性能，而不是基于演示数据。在以上问题中，强化学习虽然能够展现出卓越的性能，但是基于强化学习算法的大容量模型很难大规模的实例化。本篇论文主要的目的是把大规模多样数据集与基于Transformer的策略架构结合。

- 阅读剩余部分 -

Decision Transformer效果主要在游戏中评估，并未在机器人领域得到验证。与RL算法相比，该算法的建模思路或思想完全不同。Decision Transformer把RL的序列决策问题变为了条件轨迹序列建模。这样的建模方式会规避掉RL中非线性函数、Bootstrapping、以及off-policy的致命三元素和未来奖励折扣。同时，基于Tansformer的方式能够直接通过自注意力进行信用分配。

- 阅读剩余部分 -

连续空间的控制问题一致很难被有效解决，这是因为动作空间每个维度的离散化会导致动作的组合呈指数级爆炸。

- 阅读剩余部分 -

R-CNN是第一篇把CNN用于目标检测的算法。在把CNN用于目标检测时，有两大问题需要解决，分别是利用深度网络定位目标和利用少量的标注数据训练高容量模型。

对于目标定位，若把定位问题当作回归问题来处理，有研究结果表明基于DNN方式的效果并不好；若采用滑动窗口的方式，探测器很难处理不同尺寸的对象。

因此，R-CNN没有利用CNN定位对象，只是利用CNN算法提取特征。该算法主要分为四步，分别是：

- 阅读剩余部分 -