NeRF:利用神经辐射场作为场景表示用于视角合成
NeRF是一个利用全连接深度网络优化潜在连续体积场景函数的方法合成新视角的方法。该方法有两个步骤,分别是场景表示和体积渲染,可见图1所示。
NeRF是一个利用全连接深度网络优化潜在连续体积场景函数的方法合成新视角的方法。该方法有两个步骤,分别是场景表示和体积渲染,可见图1所示。
感知模型的网络架构往往受限于特定模型,例如:卷积神经网络只能处理2D图片视觉信息。然而,现实世界往往需要处理多种模态,而只是把每个模型的特征concat到一起是不合理的。Perceiver是一个可以处理不同模态的网络架构,且该架构不具有特定的推断偏差,网络架构可见图1所示。同时,为了引入模态中的时空信息,利用Fourier特征增加位置信息。
在足球比赛的场景下,Humanoid面对的是一个动态的而非开放式的环境,不仅需要机器人能够监测和理解环境的变化,且需要根据情况制定目标并做出实时响应。虽然它面对的复杂性相较于自动驾驶汽车面对的动态且开放环境的复杂性相对较低,但是在足球比赛场景下可很方便的研究Humanoid的EAI(Embodied AI)技术,该技术也可迁移到其它环境,例如:工厂,也是迈向开放环境坚实的一步。同时,足球比赛能够体现出人类运动智能的许多方面。
深度学习的信息瓶颈理论,表明:
然而,根据On the Information Bottleneck Theory of Deep Learning,可知,在通常情况下这些声明是不存在的。
学习一个任务的困难程度显著的受到数据表示方式的影响。根据相关文献,可知,数据生成因子的一个disentangled representation可适用于大量的任务与领域。其中,disentangled representation被定义为单个隐式单元对单个生成因子的变化较敏感,且对其它因子的变化保持相对不变。