率失真
率失真是信息论的一个主要分支，为有损数据压缩提供了理论基础。它处理了每个符号由多少位$R$决定的问题，，以便于源可被接受者重建，且不超过期望的失真$D$。
分类 信息论 下的文章
信息瓶颈方法
信息瓶颈方法是信息论的一种技术。确切的说，给定随机变量$\mathbf{X}$和观测相关变量$\mathbf{Y}$之间联合分布$p(\mathbf{X},\mathbf{Y})$，在总结随机变量$\mathbf{X}$时，找到精确性和复杂性(压缩)之间最好平衡的方法。
论深度学习的信息瓶颈理论
深度学习的信息瓶颈理论，表明：
- 深度神经网络经历两个显著阶段，分别是初始拟合阶段和随后的压缩阶段。
- 压缩阶段与神经网络的泛化性之间有直接的因果关系。
- 由于随机梯度下降的类似扩散行为，往往导致压缩阶段的产生。
然而，根据On the Information Bottleneck Theory of Deep Learning，可知，在通常情况下这些声明是不存在的。