在解决控制任务时,RL呈现出样本效率低和模型表达能力有限的问题。为了提升RL的表达能力,一系列工作尝试把扩散模型与RL相结合。本篇文章主要介绍对于offline RL数据集,如何利用扩散模型解决RL问题,以及如何处理下游任务?

- 阅读剩余部分 -

行为基础模型(Behavior Foundation Model)是一种用于在动态环境中控制智能体行为的基础模型。BFMs通常在广泛的行为数据中进行训练,从而编码广泛的行为模式。这种特性使模型很容易泛化到不同的任务、上下文、或环境,证明了多样和自适应的行为生成能力。与VLA不同,BFMs直接控制智能体的行为,且主要为Humanoids设计的。

对于BFMs,首次提出于《Fast Adaptation with Behavioral Foundation Models》,其利用forward-backward表示框架构建行为基础模型,该框架不仅学习了基本特征,还学习了 successor features。接下来,对forward-backward表示和successor features进行详细的介绍。

- 阅读剩余部分 -