率失真

率失真是信息论的一个主要分支，为有损数据压缩提供了理论基础。它处理了每个符号由多少位$R$决定的问题，，以便于源可被接受者重建，且不超过期望的失真$D$。如图1所示，率失真原理图。

图1 率失真原理图

率失真理论

在率失真理论中，率被理解为每个数据样本被存储或转换的数量。失真的概念仍处于争议中，大部分简单情况下失真被定义为输入和输出信号之间平方根的均值。然而，由于有损压缩应用的数据，大部分均被人感知，因此可被建模为概率。

失真函数

失真函数度量的是近似符号$\hat{x}$表示符号$x$的成本。典型的失真函数有：

Hamming失真
$$
\begin{aligned}
d(x,\hat{x})=\begin{cases}
0 & if\quad x=\hat{x} \\
1 & if\quad x\neq\hat{x}
\end{cases}
\end{aligned}\tag{1}
$$
平方误差失真
$$
\begin{aligned}
d(x,\hat{x})=(x-\hat{x})^2
\end{aligned}\tag{2}
$$

率失真函数

率失真函数可被获得，通过求解如下优化问题：
$$
\begin{aligned}
\underset{Q_{Y\vert X}(y\vert x)}{inf}I_{Q}(Y;X) \\
subject\quad to\quad D_{Q}\le Q^{*}
\end{aligned}\tag{3}
$$
也可被建模为
$$
\begin{aligned}
\underset{Q_{Y\vert X}(y\vert x)}E[D_{Q}[X,Y]] \\
subject\quad to\quad I_{Q}(Y;X)\le R
\end{aligned}\tag{4}
$$