率失真

率失真是信息论的一个主要分支，为有损数据压缩提供了理论基础。它处理了每个符号由多少位$R$决定的问题，，以便于源可被接受者重建，且不超过期望的失真$D$。如图1所示，率失真原理图。

图1 率失真原理图

率失真理论

在率失真理论中，率被理解为每个数据样本被存储或转换的数量。失真的概念仍处于争议中，大部分简单情况下失真被定义为输入和输出信号之间平方根的均值。然而，由于有损压缩应用的数据，大部分均被人感知，因此可被建模为概率。

失真函数

失真函数度量的是近似符号$\hat{x}$表示符号$x$的成本。典型的失真函数有：

Hamming失真

$$ \begin{aligned} d(x,\hat{x})=\begin{cases} 0 & if\quad x=\hat{x} \\ 1 & if\quad x\neq\hat{x} \end{cases} \end{aligned}\tag{1} $$

平方误差失真

$$ \begin{aligned} d(x,\hat{x})=(x-\hat{x})^2 \end{aligned}\tag{2} $$

率失真函数

率失真函数可被获得，通过求解如下优化问题：

$$ \begin{aligned} \underset{Q_{Y\vert X}(y\vert x)}{inf}I_{Q}(Y;X) \\ subject\quad to\quad D_{Q}\le Q^{*} \end{aligned}\tag{3} $$

也可被建模为

$$ \begin{aligned} \underset{Q_{Y\vert X}(y\vert x)}E[D_{Q}[X,Y]] \\ subject\quad to\quad I_{Q}(Y;X)\le R \end{aligned}\tag{4} $$