Fisher信息度量

在信息几何中，Fisher信息度量是一个定义在平滑统计流形上的黎曼度量。其中，统计流形是一个点为概率分布的平滑流形。由此，该信息度量通常被用于计算两个概率分布之间的距离。

根据切比雪夫理论，统计模型上的Fisher信息度量是唯一的一个黎曼度量，其在足够的统计量下是不变的。

该度量也可以被理解为相对熵(KL-Divergence)的无穷小形式。确切的说，其是KL-Divergence的Hessian矩阵。

定义

给定坐标为$\theta=(\theta_1,\theta_2,\ldots,\theta_n)$的统计流形，似然$p(x\vert\theta)$为$x$的概率密度。其中，$x$来自于随机变量$X$的值空间。那么，fisher信息度量为：

$$ \begin{aligned} g_{jk}(\theta)=-\int_{R}\frac{\partial^2log{p(x\vert\theta)}}{\partial\theta_j\partial\theta_k}p(x\vert\theta)dx=\mathbb{E}_{x\vert\theta}[-\frac{\partial^2logp(x\vert\theta)}{\partial\theta_j\theta_k}] \end{aligned}\tag{1} $$

例子

对于指数族分布

$$ \begin{aligned} p(x\vert\theta)=exp[\eta(\theta)\cdot T(x)-A(\theta)+B(x)] \end{aligned}\tag{2} $$

Fisher信息度量为

$$ \begin{aligned} g_{jk}(\theta)=\frac{\partial^2A(\theta)}{\partial\theta_j\partial\theta_k}-\frac{\partial^2\eta(\theta)}{\partial\theta_j\partial\theta_k} \end{aligned}\tag{3} $$