大语言模拥有大量来自互联网文本语料的知识。然而，这些知识无法直接被具身智能体所使用。这是因为大语言模型不是建立在物理世界之上的，也无法观测它的生成对物理世界的影响。SayCan作者研究了为机器人从大语言模型中抽取知识，从而跟随指令的方法。其中，机器人拥有完成低级控制任务的技能库。具体来说，不仅利用LLMs解释指令，而且用于估计单个技能对完成高级别指令的可能性。若每个技能都有一个affordance函数，用于描述每个技能成功的概率，那么LLMs与affordance函数的相结合可估计每个技能完成指令成功的概率。其中，affordance函数使LLM意识到当前场景，也意识到机器人的能力边界。同时，这种方式可产生一个可解释的机器人完成指令执行的序列步骤。
语言是一个被压缩的媒介，人类通过它提炼与交流对世界的知识与经验。大语言模型作为捕获这种抽象的有前景的方式，通过把世界投射到语言空间从而学习表示世界。同时，大语言模型非常擅长推断语言为条件的affordance和约束。由此，VoxPoser作者们利用大语言模型的写代码能力，创建了稠密的3D体素网格地图，且通过协调感知模块把这些信息放入到视觉空间。然后，再把价值地图视作直接合成机器人轨迹的规划器的目标函数。
对于机器人操作任务，对象位姿估计非常的重要。经典的实例级别的方法只能适用于特定的实例，这种方法通常需要CAD模型才能对新对象进行位姿估计。同时，类别级别的方法只能适用于特定类别，且训练数据的构造非常困难。为了处理这些限制，对任意对象的实时位姿估计受到到关注，主要有两种方法分别是有模型与无模型。其中，无模型的方法需要对象的参考图片。同时，位姿追踪利用时序线索实现高效、平滑的位姿估计。位姿追踪与位姿估计面临相同的限制。
根据综述论文简单介绍了一个基础模型在机器人中的应用，以及可赋予机器人的能力。同时，对各种任务进行简单的说明。
自回归解码器推理的成本很高，这是因为每个解码步骤加载解码器权重和所有注意力的keys与values的内存带宽很高。多查询注意力MAQ利用多个查询头但只有一个键与值，因此内存带宽的需求大大降低。然而，MQA会导致模型质量退化且训练不稳定。而且，为了优化质量与推理速度，单独训练一个模型不可行。
对于标准随机梯度下降，$L_2$正则化与权重衰退正则化的作用是相同。然而，对于自适应梯度下降算法，例如：Adam，这种等效不存在。确切的说，由于大部分深度学习库中正则化利用的是$L_2$，从而导致部分任务中利用带有动量的SGD进行优化产生的性能优于自适应梯度下降算法优化产生的模型。AdamW梯度下降算法通过对权重衰减与学习率设置进行解耦合，从而提升Adam算法的泛化性。