指数族与自然指数族分布

在概率论和统计中，自然指数族分布是指数族分布的特殊情况。

指数族分布

参数为$\theta$的指数族的概率密度函数为
$$
\begin{aligned}
f_{X}(x\vert\theta)=h(x)exp(\eta(\theta)T(x)-A(\theta))
\end{aligned}\tag{1}
$$

自然指数族分布

在自然指数族中，自然参数$\theta$和自然统计量$T(x)$均与原始参数恒等的。

单变量形式

$$
\begin{aligned}
f_{X}(x\vert\theta)=h(x)exp(\theta T(x)-A(\theta))
\end{aligned}\tag{2}
$$

通用多变量形式

$$
\begin{aligned}
f_{X}(\mathbf{x}\vert\mathbf{\theta})=h(\mathbf{x})exp(\mathbf{\theta}^T T(\mathbf{x})-A(\mathbf{\theta}))
\end{aligned}\tag{3}
$$

KL-Divergence

参数为$\theta$与$\lambda$的自然指数族KL-Divergence
$$
\begin{aligned}
D_{KL}(\theta\Vert\lambda)=(\theta-\lambda)A'(\theta)-(A(\theta)-A(\lambda))=\int_{\theta}^{\lambda}(\lambda-t)A''(t)dt
\end{aligned}\tag{4}
$$

例子

自然指数族分布的重要例子：

• 正态分布
• Poisson分布
• Gamma分布
• Binomial分布
• 负Binomial分布