论深度学习的信息瓶颈理论
深度学习的信息瓶颈理论，表明：
- 深度神经网络经历两个显著阶段，分别是初始拟合阶段和随后的压缩阶段。
- 压缩阶段与神经网络的泛化性之间有直接的因果关系。
- 由于随机梯度下降的类似扩散行为，往往导致压缩阶段的产生。
然而，根据On the Information Bottleneck Theory of Deep Learning，可知，在通常情况下这些声明是不存在的。
Beta-VAE：利用一个受约束的变分框架学习基本的视觉概念
学习一个任务的困难程度显著的受到数据表示方式的影响。根据相关文献，可知，数据生成因子的一个disentangled representation可适用于大量的任务与领域。其中，disentangled representation被定义为单个隐式单元对单个生成因子的变化较敏感，且对其它因子的变化保持相对不变。
神经网络的有趣特性
根据论文Intriguing properties of neural networks，可知，深度神经网络有两个特性，如下：
- 神经元的语义与所处的层数无关。同时，大部分语义信息由激活空间所包含，而不是单个神经元，例如：词的语义由一组向量捕获。
一文看懂基础模型在机器人领域的应用与机器人的基础模型的研究进展
ExBody：富有表达力的WBC
对于机器人来说，由于自由度与物理能力限制的原因，往往倾向于产生不自然的运动形态，这种运动呈现不自然且缺乏优美与个性化。为了使人形机器人学习出与人体运动在表达性与丰富性上相媲美的全身运动控制策略，ExBody作者们通过把大规模人类运动捕获数据与强化学习相结合，学习出可直接部署到真实机器人上的全身控制器。同时，为了解决机器人局限性导致直接精确模仿参考运动不可行的问题，提出以参考运动与root运动命令作为控制器的输入。确切的说，机器人的upper body模仿各种各样人类运动以提高表达性，松弛双腿运动模仿项以提高鲁棒性。