MoE(一)：网络架构演进与特性
MoE拥有很强的表达能力，在深度学习领域取得显著成果。同时，根据论文《Mixtures of Experts Unlock Parameter Scaling for Deep RL》，可知，MoE可解锁深度RL的参数扩展。那么，混合专家模型MoE究竟是什么呢？
wyli 发布的文章
RL中表示(一)：样本效率和模型性能的提升方法
深度强化学习的网络深度通常不超过4层，这是因为实验发现过深导致模型无法收敛。然而，深度神经网络可提取抽象表示，从而降低问题的求解难度，这在计算机视觉和自然语言处理领域属于常见的现象。然而，智能体面对的状态空间和动作空间大小是指数级的，那么4层网络显然很难提取到有效的表示。本文尝试回答表示有效的确切原因、以及如何提取Disentangled表示。
变分推断(一)：KL-Divergence作为距离度量
变分推断属于贝叶斯模型中近似后验的方法，其构成了《VAE：自动编码变分贝叶斯》的数学原理。接下来，基于论文《Variational Inference: A Review for Statisticians》理解其理论。
指数族与自然指数族分布
在概率论和统计中，自然指数族分布是指数族分布的特殊情况。
Fisher信息度量
在信息几何中，Fisher信息度量是一个定义在平滑统计流形上的黎曼度量。其中，统计流形是一个点为概率分布的平滑流形。由此，该信息度量通常被用于计算两个概率分布之间的距离。
率失真
率失真是信息论的一个主要分支，为有损数据压缩提供了理论基础。它处理了每个符号由多少位$R$决定的问题，，以便于源可被接受者重建，且不超过期望的失真$D$。