wyli 发布的文章

感知模型的网络架构往往受限于特定模型,例如:卷积神经网络只能处理2D图片视觉信息。然而,现实世界往往需要处理多种模态,而只是把每个模型的特征concat到一起是不合理的。Perceiver是一个可以处理不同模态的网络架构,且该架构不具有特定的推断偏差,网络架构可见图1所示。同时,为了引入模态中的时空信息,利用Fourier特征增加位置信息。

- 阅读剩余部分 -

在足球比赛的场景下,Humanoid面对的是一个动态的而非开放式的环境,不仅需要机器人能够监测和理解环境的变化,且需要根据情况制定目标并做出实时响应。虽然它面对的复杂性相较于自动驾驶汽车面对的动态且开放环境的复杂性相对较低,但是在足球比赛场景下可很方便的研究Humanoid的EAI(Embodied AI)技术,该技术也可迁移到其它环境,例如:工厂,也是迈向开放环境坚实的一步。同时,足球比赛能够体现出人类运动智能的许多方面。

- 阅读剩余部分 -

深度学习的信息瓶颈理论,表明:

  • 深度神经网络经历两个显著阶段,分别是初始拟合阶段和随后的压缩阶段。
  • 压缩阶段与神经网络的泛化性之间有直接的因果关系。
  • 由于随机梯度下降的类似扩散行为,往往导致压缩阶段的产生。

然而,根据On the Information Bottleneck Theory of Deep Learning,可知,在通常情况下这些声明是不存在的。

- 阅读剩余部分 -

学习一个任务的困难程度显著的受到数据表示方式的影响。根据相关文献,可知,数据生成因子的一个disentangled representation可适用于大量的任务与领域。其中,disentangled representation被定义为单个隐式单元对单个生成因子的变化较敏感,且对其它因子的变化保持相对不变。

- 阅读剩余部分 -