动力学随机化：四足机器人运动的案例研究

Dynamics Randomization Revisited:A Case Study for Quadrupedal Locomotion的作者研究了动力学随机化对足式机器人学习强健运动策略的影响。在sim-to-sim和sim-to-real场景中进行了广泛的消融研究，以理解策略迁移成功的因素。实验结果表明，对于一些场景，动力学随机化即是不必要的；也有一些场景是不足够的，且可能使机器人学习到的策略偏向于保守。作者们主张动力学随机化应该被保守的运用，只对有问题的参数使用随机化。

之所以产生这样的研究，是因为研究中存在了矛盾，例如：文献[2]利用了动力学随机化成功的部署了策略，而文献[3]不利用动力学随机化也成功的部署了策略。作者们主要对四足机器人的三种步态进行研究，分别是：

• Walking：每条腿轮流运动。
• Trotting：对角的腿以相同的摆动幅度运动。
• Pacing：同一侧的前后腿以相同的摆动幅度运动。

接下来，先介绍一下文献[1]中作者们研究的系统

图(1)中$p$表示的位置、$o$表示方向、$j$表示的是12个关节的角度。根据图1可知，策略的输入不仅仅有机器人的状态，还有参考步态。

动力学随机化不是必须的

可被随机化的参数有：

• 质量：主要来源于身体质量和惯性矩的模型误差产生的。
• 比例增益：这是电动力内可能摩擦的代理，也可以理解为策略对PD控制器参数的敏感性。
• 延时：系统的延时。
• 横向推力：人为施加的时长为5秒的推力。
• 斜率：机器人行走地面的斜率。

作者们在无参数扰动的情况下，共训练了6个策略，Trotting步态和Pacing步态分别对应3个策略。然后，把策略部署在机器上进行仿真实验，发现，即使无扰动环境下形成的策略对扰动仍有鲁棒性。同时，直接把策略部署到真机上，发现机器人无需自适应也能对模型误差有较强的鲁棒性。因此，随机化不是必须的。这些结果均与文献[4]中模仿动物学习方法的结果不一致。

动力学随机化是不足够的

在之前的部分表明：与文献[4]相比，合适环境下动力学随机化是不必要的。这些结论是建立在与文献[4]在同样的机器人模型上进行相似运动评估得到的。然而，作者们发现，也存在许多设计的差异：

• 观测的选择：文献[4]中的观测为原始传感器测量，而本文(文献[1])是状态图估计器。与文献[4]相比，文献[1]多了一些速度信息。
• 比例增益的选择：文献[4]比例增益为硬增益且值为220，而文献[1]为软增益且为40。

因此，文献[1]中作者们执行相关实验评估设计决策的影响，发现：

• 不是所有的随机化对策略的鲁棒性有正向的影响，许多随机化对鲁棒性无影响甚至有害。

• 即使在动力学随机化的环境中训练出来的策略也无法直接迁移到机器人身上，这与文献[4]一致。文献[4]中之所以能够迁移到机器人上，是因为有自适应的步骤。

• 无速度反馈的Pacing策略无法控制横向速度且容易摔倒一边。即使训练时增加横向推力也不能弥补横向速度的反馈。

• 设置较大的比例增益往往产生僵化的动作。

• 较小的比例增益扮演的角色类似于力矩控制器，而较大的比例增益扮演的角色类似于位置控制器。

动力学随机化的效果

• 动力学随机化产生保守型策略。这也是动力学随机化与无速度反馈形成的策略比无动力学随机与无速度反馈形成的策略，性能差的原因。
• 若延时超过17ms，无随机化的策略无法部署。然而，若只对延时随机化的策略进行部署，发现，可应对32ms的延时。因此，对于产生重大模型误差的参数，随机化是重要的。

参考文献

[1] Xie Z, Da X, Van de Panne M, et al. Dynamics randomization revisited: A case study for quadrupedal locomotion[C]//2021 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2021: 4955-4961.

[2] Lee J, Hwangbo J, Wellhausen L, et al. Learning quadrupedal locomotion over challenging terrain[J]. Science robotics, 2020, 5(47): eabc5986.

[3] Dao J, Duan H, Green K, et al. Learning to walk without dynamics randomization[C]//2nd Workshop on Closing the Reality Gap in Sim2Real Transfer for Robotics. 2020: 16.

[4] Peng X B, Coumans E, Zhang T, et al. Learning agile robotic locomotion skills by imitating animals[J]. arXiv preprint arXiv:2004.00784, 2020.