Vicuna：一个开源的chabot拥有ChatGPT90%的能力
Vicuna是一个开源的13B参数量的chatbot。确切的说，该模型是通过在13B的LLaMA模型上利用来自ShareGPT.com的70K对话数据微调得到的，其工作流可见图1所示。
VRB：从人类视频中获得Affordances作为机器人的多用途表示
The meaning or value of a thing consists of what it affords... what we perceive when we look at objects are their affordances, not their qualities.
-J.J. Gibson
在一个新的厨房环境中，采取动作之前，人类已经对大部分物品可以怎么操作有了很好的理解。这种理解不仅仅停留在语义层面，还知道对象哪里可以握住和往哪个方向移动。虽然这些理解不总是有效，有时可能需要探索，但是人类非常依赖物品的这种视觉affordances，从而在不同的环境中高效的执行日常任务。随着深度学习技术的发展，视觉技术不断的发展，不仅仅可以从图片中标记大部分对象，甚至可以知道其位置。
SayCan：机器人Affordances中的基础语言模型
大语言模拥有大量来自互联网文本语料的知识。然而，这些知识无法直接被具身智能体所使用。这是因为大语言模型不是建立在物理世界之上的，也无法观测它的生成对物理世界的影响。SayCan作者研究了为机器人从大语言模型中抽取知识，从而跟随指令的方法。其中，机器人拥有完成低级控制任务的技能库。具体来说，不仅利用LLMs解释指令，而且用于估计单个技能对完成高级别指令的可能性。若每个技能都有一个affordance函数，用于描述每个技能成功的概率，那么LLMs与affordance函数的相结合可估计每个技能完成指令成功的概率。其中，affordance函数使LLM意识到当前场景，也意识到机器人的能力边界。同时，这种方式可产生一个可解释的机器人完成指令执行的序列步骤。
VoxPoser：利用大语言模型为机器人操作创建可组合的3D价值地图
语言是一个被压缩的媒介，人类通过它提炼与交流对世界的知识与经验。大语言模型作为捕获这种抽象的有前景的方式，通过把世界投射到语言空间从而学习表示世界。同时，大语言模型非常擅长推断语言为条件的affordance和约束。由此，VoxPoser作者们利用大语言模型的写代码能力，创建了稠密的3D体素网格地图，且通过协调感知模块把这些信息放入到视觉空间。然后，再把价值地图视作直接合成机器人轨迹的规划器的目标函数。
FoundationPose：统一新对象的6D位姿估计与追踪
对于机器人操作任务，对象位姿估计非常的重要。经典的实例级别的方法只能适用于特定的实例，这种方法通常需要CAD模型才能对新对象进行位姿估计。同时，类别级别的方法只能适用于特定类别，且训练数据的构造非常困难。为了处理这些限制，对任意对象的实时位姿估计受到到关注，主要有两种方法分别是有模型与无模型。其中，无模型的方法需要对象的参考图片。同时，位姿追踪利用时序线索实现高效、平滑的位姿估计。位姿追踪与位姿估计面临相同的限制。
机器人中的基础模型：应用、挑战、以及未来
根据综述论文简单介绍了一个基础模型在机器人中的应用，以及可赋予机器人的能力。同时，对各种任务进行简单的说明。