指数族分布

1. 定义与基本形式

1.1 为什么研究指数族？

指数族分布是统计学中最重要的分布类别之一，具有以下优点：

• 统一框架：高斯、伯努利、Poisson等都可以用统一形式表达
• 共轭性：与指数族先验共轭，后验仍是指数族
• 计算高效：许多统计量有解析形式
• 变分推断友好：平均场变分推断在指数族中有闭式解

1.2 标准形式

定义：一个概率分布属于指数族，如果其概率密度（质量）函数可以写成：

$$p(x|\eta )=h(x)\exp \{{\eta }^{T}T(x)-A(\eta )\}$$

其中：

• $\eta \in {\mathbb{R}}^d$：自然参数（natural parameter）
• $T(x)$：充分统计量（sufficient statistic）
• $h(x)\ge 0$：基础度量（base measure）
• $A(\eta )$：对数配分函数（log partition function），确保归一化

配分函数的归一化作用：

$$A(\eta )=\log \int h(x)\exp \{{\eta }^{T}T(x)\}dx$$

1.3 例子：高斯分布

一维高斯分布 $\mathcal{N}(x|\mu ,{\sigma }^2)$：

$$p(x|\mu ,{\sigma }^2)=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp \left\{-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right\}$$

写成指数族形式：

$$\eta =\left(\begin{array}{c}\frac{\mu }{{\sigma }^2}\\ -\frac{1}{2{\sigma }^2}\end{array}\right),T(x)=\left(\begin{array}{c}x\\ x^2\end{array}\right),A(\eta )=\frac{{\mu }^2}{2{\sigma }^2}+\frac{1}{2}\log (2\pi {\sigma }^2)$$

---

2. 常见分布的指数族形式

2.1 伯努利分布

$$\text{Bern}(x|\pi )={\pi }^x(1-\pi {)}^{1-x}=(1-\pi )\exp \left\{x\log \frac{\pi }{1-\pi }\right\}$$

参数	表达式
自然参数 $\eta$	$\log \frac{\pi }{1-\pi }$（log-odds）
充分统计量 $T(x)$	$x$
基础度量 $h(x)$	$1$
配分函数 $A(\eta )$	$\log (1+e^{\eta })$
反解 $\pi$	$\sigma (\eta )=\frac{1}{1+e^{-\eta }}$（sigmoid）

2.2 多项分布

多项分布 $\text{Mult}(x|n,\pi )$ 用于离散多类问题：

$$p(x|\pi )=\frac{n!}{{\prod }_k{x}_k!}\prod _k{\pi }_k^{x_k}$$

参数	表达式
自然参数 ${\eta }_k$	$\log {\pi }_k$（约束 $\sum {\pi }_k=1$）
充分统计量 $T_k(x)$	$x_k$
配分函数 $A(\eta )$	$\log \left(1+{\sum }_{k=1}^{K-1}{e}^{{\eta }_k}\right)$

2.3 泊松分布

$$\text{Poisson}(x|\lambda )=\frac{{\lambda }^x{e}^{-\lambda }}{x!}=\frac{1}{x!}\exp \{x\log \lambda -\lambda \}$$

参数	表达式
自然参数 $\eta$	$\log \lambda$
充分统计量 $T(x)$	$x$
基础度量 $h(x)$	$\frac{1}{x!}$
配分函数 $A(\eta )$	$e^{\eta }$

2.4 Gamma分布

$$\text{Gamma}(x|a,b)=\frac{b^a}{\Gamma (a)}{x}^{a-1}{e}^{-bx},x>0$$

参数	表达式
自然参数 $\eta$	$(a-1,-b)$
充分统计量 $T(x)$	$(\log x,x)$
配分函数 $A(\eta )$	$\log \Gamma (a)-a\log b$

2.5 Beta分布

$$\text{Beta}(x|\alpha ,\beta )=\frac{\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}{x}^{\alpha -1}(1-x{)}^{\beta -1}$$

参数	表达式
自然参数 $\eta$	$(\alpha -1,\beta -1)$
充分统计量 $T(x)$	$(\log x,\log (1-x))$
基础度量 $h(x)$	$1$
配分函数 $A(\eta )$	$\log \Gamma ({\eta }_1+1)+\log \Gamma ({\eta }_2+1)-\log \Gamma ({\eta }_1+{\eta }_2+2)$

---

3. 指数族的数学性质

3.1 矩母函数与累积量

对数配分函数的导数

对数配分函数 $A(\eta )$ 的导数给出矩：

$$\frac{\partial A(\eta )}{\partial {\eta }_i}=\mathbb{E}[T_i(X)]$$ $$\frac{{\partial }^{2}A(\eta )}{\partial {\eta }_i\partial {\eta }_j}=\text{Cov}[T_i(X),T_j(X)]$$

例子：对于伯努利分布

$$A(\eta )=\log (1+e^{\eta })$$ $$\frac{dA}{d\eta }=\frac{e^{\eta }}{1+e^{\eta }}=\sigma (\eta )=\mathbb{E}[X]$$ $$\frac{d^{2}A}{d{\eta }^2}=\sigma (\eta )(1-\sigma (\eta ))=\text{Var}[X]$$

3.2 期望参数化

期望参数（expectation parameter）定义为：

$$\mu =\mathbb{E}[T(X)]$$

例如：

• 伯努利：$\mu =\mathbb{E}[X]=\pi$
• 高斯：$\mu =\mathbb{E}[(x,x^2)]=(\mu ,{\mu }^2+{\sigma }^2)$

自然参数与期望参数的关系：

$$\mu =\nabla A(\eta )$$

3.3 KL散度的简洁形式

指数族之间的KL散度有简洁形式：

对于 $p(x)=\exp \{{\eta }_p^{T}T(x)-A({\eta }_p)\}$ 和 $q(x)=\exp \{{\eta }_q^{T}T(x)-A({\eta }_q)\}$：

$$\text{KL}(p\Vert q)=({\eta }_p-{\eta }_q{)}^T{\mu }_p-(A({\eta }_p)-A({\eta }_q))$$

---

4. 共轭先验

4.1 什么是共轭先验？

定义：如果先验 $p(\eta )$ 与似然 $p(x|\eta )$ 的乘积与后验 $p(\eta |x)$ 属于同一分布族，则称该先验为共轭先验。

4.2 指数族共轭先验的形式

对于指数族分布，其共轭先验形式为：

$$p(\eta |\nu ,\chi )\propto \exp \{\nu {\eta }^T\chi -\nu A(\eta )\}$$

其中：

• $\nu >0$：伪观测数（pseudo-count）
• $\chi$：伪充分统计量

后验更新：

$$p(\eta |x_1,...,x_n)\propto p(\eta )\prod _{i=1}^{n}p(x_i|\eta )$$

若先验参数为 $({\nu }_0,{\chi }_0)$，则后验参数为：

$${\nu }_n={\nu }_0+n,{\chi }_n=\frac{{\nu }_0{\chi }_0+{\sum }_{i=1}^{n}T(x_i)}{{\nu }_0+n}$$

4.3 共轭先验对照表

似然分布	共轭先验	先验参数	后验参数
伯努利	Beta	$(\alpha ,\beta )$	$(\alpha +n_1,\beta +n_0)$
多项	Dirichlet	$({\alpha }_1,...,{\alpha }_K)$	$({\alpha }_1+n_1,...,{\alpha }_K+n_K)$
泊松	Gamma	$(a,b)$	$(a+\sum x_i,b+n)$
高斯（固定${\sigma }^2$）	Gaussian	$({\mu }_0,{\sigma }_0^2)$	$(\frac{{\sigma }_0^2}{{\sigma }_0^2+{\sigma }^2}\bar{x}+\frac{{\sigma }^2}{{\sigma }_0^2+{\sigma }^2}{\mu }_0,\frac{{\sigma }_0^2{\sigma }^2}{{\sigma }_0^2+{\sigma }^2})$
高斯（固定$\mu$）	Inverse-Gamma	$(a,b)$	$(a+n/2,b+\frac{1}{2}\sum (x_i-\mu {)}^2)$

4.4 共轭先验的直观理解

Beta-Bernoulli例子：

先验：$p(\pi )=\text{Beta}(\alpha ,\beta )$

似然：$p(X|\pi )={\prod }_{i=1}^n{\pi }^{x_i}(1-\pi {)}^{1-x_i}$

后验：

$$p(\pi |X)\propto {\pi }^{\alpha -1}(1-\pi {)}^{\beta -1}\cdot {\pi }^{\sum x_i}(1-\pi {)}^{n-\sum x_i}={\pi }^{(\alpha +\sum x_i)-1}(1-\pi {)}^{(\beta +n-\sum x_i)-1}=\text{Beta}(\alpha +n_1,\beta +n_0)$$

其中 $n_1=\sum x_i$，$n_0=n-n_1$。

---

5. 变分推断中的应用

5.1 平均场变分推断的闭式解

在平均场变分推断中，最优因子 $q_j(z_j)$ 的形式为：

$$\log q_j^{\ast }(z_j)\propto {\mathbb{E}}_{q_{\setminus j}}[\log p(x,z)]+\text{const}$$

对于指数族，由于对数似然是 ${\eta }^{T}T(z_j)$ 的线性函数，我们可以得到闭式解。

5.2 例子：混合高斯模型的变分推断

import numpy as np
 
class ExponentialFamilyVI:
    """指数族分布的变分推断"""
    
    def fit(self, X, n_components, n_iter=100):
        """变分EM算法"""
        N, D = X.shape
        
        # 初始化变分参数
        self.alpha = np.ones(n_components) / n_components  # 混合系数
        self.phi = [self._init_params(D) for _ in range(n_components)]  # 高斯参数
        
        for _ in range(n_iter):
            # E步：更新隐变量后验
            self._e_step(X)
            
            # M步：更新变分参数
            self._m_step(X)
    
    def _init_params(self, D):
        """初始化高斯参数（指数族形式）"""
        return {
            'xi': np.zeros(D),      # 线性充分统计量
            'tau': 0,               # 二次充分统计量
            'nu': 1                 # 伪观测数
        }
    
    def _e_step(self, X):
        """E步：计算隐变量后验"""
        N, D = X.shape
        responsibilities = np.zeros((N, self.n_components))
        
        for k in range(self.n_components):
            # 计算期望充分统计量
            E_z_k = self._compute_expected_sufficient_stats(k)
            
            # 计算对数后验
            log_resp = np.log(self.alpha[k] + 1e-10)
            log_resp += self._gaussian_log_likelihood(X, E_z_k)
            responsibilities[:, k] = log_resp
        
        # 归一化
        responsibilities = np.exp(responsibilities - responsibilities.max(axis=1, keepdims=True))
        responsibilities /= responsibilities.sum(axis=1, keepdims=True)
        
        return responsibilities
    
    def _m_step(self, X):
        """M步：更新指数族参数的闭式解"""
        N, D = X.shape
        N_k = self.responsibilities.sum(axis=0)
        
        for k in range(self.n_components):
            # 更新伪观测数
            self.phi[k]['nu'] = N_k[k]
            
            # 更新线性充分统计量
            self.phi[k]['xi'] = (self.responsibilities[:, k:k+1] * X).sum(axis=0) / N_k[k]
            
            # 更新二次充分统计量
            self.phi[k]['tau'] = (self.responsibilities[:, k:k+1] * (X**2).sum(axis=1)).sum() / N_k[k]
        
        # 更新混合系数
        self.alpha = N_k / N
    
    def _compute_expected_sufficient_stats(self, k):
        """计算期望充分统计量"""
        phi = self.phi[k]
        D = len(phi['xi'])
        
        # E[ξ] = φ['xi'] / φ['nu']
        E_xi = phi['xi'] / phi['nu']
        
        # E[τ] = φ['tau'] / φ['nu']
        E_tau = phi['tau'] / phi['nu']
        
        return {'E_xi': E_xi, 'E_tau': E_tau}

5.3 共轭指数族模型的优势

优势	说明
闭式后验	无需迭代优化后验参数
计算高效	变分推断有解析解
数值稳定	避免梯度估计
可解释性	先验参数有明确含义（伪观测）

---

6. 信息几何视角

6.1 流形结构

指数族分布的集合形成一个黎曼流形：

• 点：分布 $p_{\eta }(x)$
• 坐标：自然参数 $\eta$ 或期望参数 $\mu$
• 度量：Fisher信息矩阵

6.2 Fisher信息矩阵

Fisher信息矩阵定义了流形上的黎曼度量：

$$g_{ij}(\eta )={\text{Cov}}_{\eta }[T_i(X),T_j(X)]=\frac{{\partial }^{2}A(\eta )}{\partial {\eta }_i\partial {\eta }_j}$$

几何意义：

• 曲率由Fisher信息矩阵刻画
• 自然梯度 ${\tilde{\nabla }}_{\eta }f=G(\eta {)}^{-1}{\nabla }_{\eta }f$
• 自然梯度下降在信息几何意义上最优

6.3 指数族中的距离

距离	定义
KL散度	$D(p\Vert q)=({\eta }_p-{\eta }_q{)}^T({\mu }_p-{\mu }_q)-(A({\eta }_p)-A({\eta }_q))$
f-散度	一般 $D_f(p\Vert q)=\int p(x)f\left(\frac{q(x)}{p(x)}\right)dx$
Wasserstein距离	在高斯族中有闭式解

---

7. 指数族与机器学习

7.1 广义线性模型（GLM）

GLM将指数族分布与线性预测器结合：

$$Y|X\sim \text{ExponentialFamily}(\theta ={\beta }^{T}X)$$

链接函数：

• 规范链接：$\theta =\eta ={\beta }^{T}X$
• Logit链接（伯努利）：$\log \frac{p}{1-p}={\beta }^{T}X$
• Log链接（Poisson）：$\log \lambda ={\beta }^{T}X$

7.2 条件随机场（CRF）

CRF是指数族在序列建模中的应用，详见conditional-random-fields-sequence。

7.3 变分推断的理论基础

指数族在变分推断中的重要性：

• 平均场假设下，最优因子是指数族分布
• 共轭性使得后验更新有闭式解
• 充分统计量减少了需要近似的维度

7.4 神经网络与指数族

现代神经网络可以看作是条件指数族模型：

$$p(y|X)=\text{ExponentialFamily}(\eta =f_{\theta }(X))$$

例如：

• Softmax输出层：多项指数族
• Sigmoid输出层：伯努利指数族
• 高斯输出层：高斯指数族

---

8. 进阶主题

8.1 混合指数族

混合多个指数族分布得到混合指数族：

$$p(x)=\sum _{k=1}^K{\pi }_k\exp \{{\eta }_k^{T}T(x)-A({\eta }_k)\}$$

特点：

• 不再是指数族（失去解析性质）
• 但仍可使用变分推断近似
• EM算法有闭式E步

8.2 规范化流与指数族

归一化流可以将简单指数族转换为复杂分布：

$$z_K=f_K\circ \cdots \circ f_1(z_0),z_0\sim \mathcal{N}(0,I)$$

变换后的分布对数密度：

$$\log p(z_K)=\log p(z_0)-\sum _{k=1}^K\log \left|\det \frac{\partial f_k}{\partial z_{k-1}}\right|$$

8.3 指数族的扩展

扩展	说明
弯曲指数族	协方差结构随均值变化
非指数族	如Student-t、混合分布
非参数指数族	在函数空间上的指数族

---

参考文献