在线深度Actor-Critic算法的关键点
RL算法虽然概念上简单，但是许多SOTA算法实施使用了许多设计决策。然而，这些设计决策很少被讨论，就导致RL算法的进步很难被归因。Andrychowicz等人基于在线深度actor-critic框架进行了大规模试验，研究了这些设计对算法性能的影响。
Evan-wyl 发布的文章
Thinking-While-Moving：深度强化学习与并发控制
目前，强化学习算法聚焦的范式是：当智能体思考执行什么动作时，假设环境是静态的。然而，这种假设对于真实世界是不成立的，因为智能体在处理观测和规划下一步动作时，环境的状态也在不断的发生变化。对于这种不断变化的环境，被称为并发环境。为了能够基于深度强化学习处理并发环境，文献[1]提出了一个适用于并发马尔科夫决策过程的连续时间Bellman运算。
CQL：保守型Q-learning
为了解决由智能体学到的策略$\pi$与数据产生的行为策略$\pi_{\beta}$之间分布偏移产生的价值高估问题，CQL算法学习出保守型Q函数，使Q函数的期望值为策略$\pi$下价值函数$V(s)$真实值的下界。在理论上，证明了CQL的确产生了价值函数$V(s)$真实值的下界，且该算法可应用到策略学习迭代步骤中。
FiLM：带有通用条件层的视觉推理
Feature-wise Linear Modulation(FiLM)是一个神经网络通用目的的调节方法，通过特征级别的仿射变换影响神经网络计算。实验结果，表明，FiLM层对视觉推理任务非常有效，例如：回答图片相关的问题。然而，这类问题对标准深度学习方法来说很困难。
扩散策略：通过动作扩散进行的视觉运动策略学习
基于演示的策略学习是学习观测到动作映射的监督学习任务。然而，现实中机器人动作具有多峰分布、序列相关、以及高精度要求的特点，与其它监督学习任务相比具有很大的挑战。扩散策略是一个新形式的机器人视觉运动策略。与直接预测动作不同，它以视觉观测为条件推断动作-分数的梯度。这种方式学习到的策略继承了扩散模型许多关键特性：