RL算法不适用于持续型任务的技术点及应对方法
时下,RL主要处理episode任务或单一episode的持续任务,论文《Discounted Reinforcement Learning Is Not an Optimization Problem》分析了该范式的技术有哪些不适用于显著不同episode的持续任务的呢?
时下,RL主要处理episode任务或单一episode的持续任务,论文《Discounted Reinforcement Learning Is Not an Optimization Problem》分析了该范式的技术有哪些不适用于显著不同episode的持续任务的呢?
谈到大语言模型,通常想到的是预训练、有监督微调、RLHF
、以及思维链提升。然而,这些都是站在LLMs
的技术细节理解。与之不同,本文站在基础模型的角度理解大语言模型,也可以理解为站在应用或提升其特定能力的角度。
空间认知在认知科学以及其他相关学科中用于表示对空间内容的思考,例如:环境中物体的位置或物体的形状。鉴于世界本质上是空间的,该术语还涵盖了各种异质心理活动。一个关于空间思维的实用区分是:导航相关认知和以对象为中心的认知。每种认知都需要环境或对象的表征,以及被表征信息的内在变化的表示。导航涉及寻找世界各地的路线以收集食物和饮料、寻找社交伙伴、避开危险并返回家园,这是所有移动生物生存的先决条件。为了找到路,需要环境特征(非自我中心的框架: allocentric framework)和自我运动(惯性导航: inertial navigation)相对位置的表示。以对象为中心的认知涉及表征物体的形状和结构,并预测它们在物理或心理转变(例如旋转、切割或折叠)后的外观。以对象为中心的思维与工具的发明和使用密切相关,并且可能比导航更专属于人类的认知活动,尽管在灵长类动物和鸦科动物中也有使用工具的记录。
基于能量的模型通常为以$e$为底的指数函数,这是什么原因呢?
IRL(Inverse Reinforcement Learning)的部分挑战来自于定义本身,这是因为演示数据可被许多最优策略解释,且一个最优策略可被许多奖励函数解释。前者的模糊性可被最大化熵IRL框架所处理,而后者的模糊性主要来自于算法很难从奖励中区分出真实奖励和环境塑造的奖励。为了应对IRL的挑战,AIRL算法在最大熵框架下可学习出真实奖励函数,拥有较强的泛化性。