基于模型的RL算法往往需要先估计一个环境模型，然后再基于该模型进行轨迹优化。然而，现实任务估计出准确的环境模型很难，且可能不适合轨迹优化。若把规划或轨迹优化等同于采样问题，即直接生成轨迹，那么可规避掉模型不准确的问题。

- 阅读剩余部分 -

在LL3DA之前，3D视觉-语言多模态工作主要把2D视觉特征投射到3D空间，作为3D场景的表示，例如：3D-LLM。然而，这种方式需要大量的计算资源。与之不同，LL3DA以3D点云数据为输入，对文本指令和视觉提示进行响应。这种设计不仅能够处理置换不变3D场景embeddings与LLM的embeddings空间的矛盾，也能够抽取交互意识的3D场景embedding，用于高效指令跟随。

- 阅读剩余部分 -

扩散策略算法需要大量的演示数据才能实现较强的泛化性。然而，模仿学习算法收集任务相关的数据耗时很长。为了应对该挑战，DP3把3D视觉表示与扩散策略相整合。

- 阅读剩余部分 -

一个仓库机器人从杂乱的储物箱中分拣物品从而完成订单任务，这不仅仅需要拥有视觉和语言的语义理解能力从而识别正确的物品，也需要理解物品的几何形状的能力从而稳定的抓取物品。F3RM作者以机器人能够根据少量抓取演示或文本描述从而抓取新物品为研究目标，构建了一个预训练视觉embedding为基础的系统，可见图1所示。

- 阅读剩余部分 -

与LLaMA相比，LLaMA2的性能可与闭源ChatGPT、BARDX、以及Claude相比，且模型开源。作者释放了两个版本的模型，分别是：

• LLaMA2， 在LLAMA1基础之上，模型预训练数据增加了40%，上下文长度增加了两倍。模型参数有7B,13B,70B,34B。
• LLaMA2-CHAT， LLAMA2的微调版本，主要优化了对话能力。

- 阅读剩余部分 -

LLaMA是一系列开源的基础语言模型，模型大小从7B到65B。其中，13B参数的LLaMA性能优越于175B参数的GPT3，65B参数量的LLaMA与Chinchilla-70B和PaLM-540B的模型性能一致。语言模型扩展到足够的尺寸，可拥有少样本泛化的能力。然而，Hoffmann等人表明：在给定计算资源下，最优的性能不是最大的模型实现的，而是小模型在大量数据上训练实现的。经过实验发现，模型的大小与tokens的数量应该同比例的扩展，才能使模型的性能发挥到极致。然而，Hoffmann等人研究没有考虑推理成本，只考虑了训练成本。由此，LLaMA作者们希望能够在各种各样推理预算下能够训练出最优性能的模型。

- 阅读剩余部分 -