EvoRL(一)：为什么要演化算法与RL结合？
对于机器人控制，有两种方法，分别是演化算法和强化学习。然而，该两种方法各有各自的特点。其中，RL智能体需要探索平衡和利用，探索是为了找到更优的策略，而利用是为了学习到奖励最大化的知识。然而，智能体扩展到数千个环境时，交互数据很快收敛，即不同环境中数据的相关性较高。那么，如何提高其探索能力呢？
两种方法的特点
- 演化算法拥有扩展性和多样性优势，而样本效率不足。
- 强化学习拥有较强的渐进表现和训练稳定性，而扩展时策略的多样性不足。
- RL样本效率比演化算法高。
结合的效果
经验利用率：PBT集成多个on-policy智能体，每个策略单独演化至收敛状态，从而确定超参数。显而易见，这种方式浪费了收集的经验。
扩展性：EPO实现了较强的性能，且拥有较强的可扩展性。其中，扩展是指模型训练期间智能体数量的增加。确切的说，该方法克服了on-policy算法的极限，提升了RL处理大规模数据的能力。
鲁棒性和表现方差：EPO对不同随机种子有更低的方差，以及对于超参数变化有更强的鲁棒性。
性能：由于基于过去经验训练的不稳定性，PBT只能解决简单任务。与之不同，EPO算法可处理更复杂的任务，例如：双臂操作、灵巧操作。对于简单的任务，EPO可实现更高的奖励。
总结
总的来说，RL在面对双臂协同操作和灵巧操作等复杂任务时，样本效率和探索效率很低，因此需要结合演化算法，充分利用经验数据。
引用方法
请参考：
li,wanye. "EvoRL(一)：为什么要演化算法与RL结合？". wyli'Blog (Jul 2025). https://www.robotech.ink/index.php/archives/755.html
或BibTex方式引用：
@online{eaiStar-755,
title={EvoRL(一)：为什么要演化算法与RL结合？},
author={li,wanye},
year={2025},
month={Jul},
url="https://www.robotech.ink/index.php/archives/755.html"
}