论神经网络的光谱偏差
深度神经网络对自然数据泛化上的成功与经典的模型复杂性概念不一致，且实验表明可拟合任意随机数据。论文On the Spectral Bias of Neural Networks通过傅立叶分析，研究深度神经网络的表达性，发现深度神经网络倾向于学习低频函数，也即是函数全局的变化无局部浮动。该特性与过参数化网络优先学习简单模式而泛化性强的特点一致。这种现象被称为场域偏差，不仅仅表现在学习过程，也表现在模型的参数化。
主要贡献如下：
- 估计了ReLU神经网络的傅立叶场。
- 通过实验，发现了一个场偏差：神经网络先学习低频模式。同时，低频模式对神经网络参数的随机扰动更具有鲁棒性。
- 研究了数据流形形状在神经网络学习中角色：复杂的流形形状有助于高频特征学习。同时，作者们还形成了对该行为的理论理解。
版权： 本篇博文采用《CC BY-NC-ND 4.0》，转载必须注明作者和本文链接