Stiefel Manifolds及其对MOORE网络的约束
为了解决多任务问题，RL中的MoE网络架构MOORE通过正交化表示的方式，提升神经网络的表达能力。这种方式相当于对神经网络施加了约束Stiefel Manifold约束。那么，这种约束对神经网络有什么影响呢？
分类 数学 下的文章
变分推断(一)：KL-Divergence作为距离度量
变分推断属于贝叶斯模型中近似后验的方法，其构成了《VAE：自动编码变分贝叶斯》的数学原理。接下来，基于论文《Variational Inference: A Review for Statisticians》理解其理论。
指数族与自然指数族分布
在概率论和统计中，自然指数族分布是指数族分布的特殊情况。
Fisher信息度量
在信息几何中，Fisher信息度量是一个定义在平滑统计流形上的黎曼度量。其中，统计流形是一个点为概率分布的平滑流形。由此，该信息度量通常被用于计算两个概率分布之间的距离。
矩阵范数与Spectral标准化
在《Spectral Normalization for Generative Adversarial Networks》中，为了提高GAN中判别器训练的稳定性，利用spectral normalization控制判别器函数f的Lipschitz常数。相较于直接施加Lipschitz约束，该方法显著降低了模型训练和推理的计算复杂度。
Lipschitz Continuity
在深度学习中，Lipschitz continuity常用于约束学习函数的形状，从而起到正则化的作用。那么，该约束的有效性和实现方式是什么？