指数族与自然指数族分布

在概率论和统计中，自然指数族分布是指数族分布的特殊情况。

指数族分布

参数为$\theta$的指数族的概率密度函数为

$$ \begin{aligned} f_{X}(x\vert\theta)=h(x)exp(\eta(\theta)T(x)-A(\theta)) \end{aligned}\tag{1} $$

自然指数族分布

在自然指数族中，自然参数$\theta$和自然统计量$T(x)$均与原始参数恒等的。

单变量形式

$$ \begin{aligned} f_{X}(x\vert\theta)=h(x)exp(\theta T(x)-A(\theta)) \end{aligned}\tag{2} $$

通用多变量形式

$$ \begin{aligned} f_{X}(\mathbf{x}\vert\mathbf{\theta})=h(\mathbf{x})exp(\mathbf{\theta}^T T(\mathbf{x})-A(\mathbf{\theta})) \end{aligned}\tag{3} $$

KL-Divergence

参数为$\theta$与$\lambda$的自然指数族KL-Divergence

$$ \begin{aligned} D_{KL}(\theta\Vert\lambda)=(\theta-\lambda)A'(\theta)-(A(\theta)-A(\lambda))=\int_{\theta}^{\lambda}(\lambda-t)A''(t)dt \end{aligned}\tag{4} $$

例子

自然指数族分布的重要例子：

• 正态分布
• Poisson分布
• Gamma分布
• Binomial分布
• 负Binomial分布