共轭先验完整推导

概述

共轭先验（Conjugate Prior）是贝叶斯统计中的核心概念¹²。当先验分布与似然函数共轭时，后验分布与先验分布属于同一分布族，这极大地简化了贝叶斯推断的计算。

核心思想：选择先验分布使得后验分布与先验分布具有相同的函数形式。

---

1. 共轭性的定义

1.1 数学定义

设似然函数为 $P(x|\theta )$，先验分布为 $\pi (\theta )$。如果后验分布

$$\pi (\theta |x)\propto P(x|\theta )\pi (\theta )$$

与先验 $\pi (\theta )$ 属于同一分布族，则称 $\pi (\theta )$ 为 $P(x|\theta )$ 的共轭先验。

1.2 指数族视角

指数族分布具有自然的共轭结构³：

$$P(x|\theta )=h(x)\exp \{\eta (\theta {)}^{T}T(x)-A(\theta )\}$$

其中 $\eta (\theta )$ 是自然参数，$T(x)$ 是充分统计量。

共轭先验的形式为：

$$\pi (\theta |\alpha ,\beta )=h(\theta )\exp \{\eta (\theta {)}^T\alpha -\beta A(\theta )\}$$

---

2. 伯努利/二项模型

2.1 问题设置

设 $X_1,...,X_n\sim \text{Bernoulli}(\theta )$，即：

$$P(X_i=1)=\theta ,P(X_i=0)=1-\theta$$

似然函数：

$$P(\mathcal{D}|\theta )={\theta }^k(1-\theta {)}^{n-k}$$

其中 $k={\sum }_{i=1}^n{X}_i$ 是成功次数。

2.2 Beta先验

Beta分布定义：

$$\theta \sim \text{Beta}(\alpha ,\beta )=\frac{{\theta }^{\alpha -1}(1-\theta {)}^{\beta -1}}{B(\alpha ,\beta )}$$

其中 $B(\alpha ,\beta )=\frac{\Gamma (\alpha )\Gamma (\beta )}{\Gamma (\alpha +\beta )}$。

2.3 后验推导

先验：$\pi (\theta )\propto {\theta }^{\alpha -1}(1-\theta {)}^{\beta -1}$

似然：$P(\mathcal{D}|\theta )\propto {\theta }^k(1-\theta {)}^{n-k}$

后验：

$$\pi (\theta |\mathcal{D})\propto {\theta }^{\alpha -1}(1-\theta {)}^{\beta -1}\cdot {\theta }^k(1-\theta {)}^{n-k}={\theta }^{(\alpha +k)-1}(1-\theta {)}^{(\beta +n-k)-1}$$

因此：

$$\theta |\mathcal{D}\sim \text{Beta}(\alpha +k,\beta +n-k)$$

2.4 更新公式

参数	更新公式
先验	$\alpha ,\beta$
后验	${\alpha }^{\prime }=\alpha +k,{\beta }^{\prime }=\beta +n-k$

超参数的物理意义：

• $\alpha$：先验成功次数的”伪计数”
• $\beta$：先验失败次数的”伪计数”

2.5 后验预测分布

新观测的后验预测分布：

$$P(X_{n+1}=1|\mathcal{D})=\mathbb{E}[\theta |\mathcal{D}]=\frac{\alpha +k}{\alpha +\beta +n}$$

这称为后验均值估计。

---

3. 多项/Dirichlet模型

3.1 问题设置

设 $X\sim \text{Multinomial}(K,{\theta }_1,...,{\theta }_K)$，即：

$$P(X=(x_1,...,x_K))=\frac{n!}{x_1!\cdots x_K!}\prod _{j=1}^K{\theta }_j^{x_j}$$

约束：${\sum }_j{\theta }_j=1,{\theta }_j\ge 0$。

3.2 Dirichlet先验

Dirichlet分布定义：

$$({\theta }_1,...,{\theta }_K)\sim \text{Dir}({\alpha }_1,...,{\alpha }_K)=\frac{1}{B(\alpha )}\prod _{j=1}^K{\theta }_j^{{\alpha }_j-1}$$

其中 $B(\alpha )=\frac{{\prod }_j\Gamma ({\alpha }_j)}{\Gamma ({\sum }_j{\alpha }_j)}$。

3.3 后验推导

先验：$\pi (\theta )\propto {\prod }_{j=1}^K{\theta }_j^{{\alpha }_j-1}$

似然：$P(\mathcal{D}|\theta )\propto {\prod }_{j=1}^K{\theta }_j^{k_j}$，其中 $k_j$ 是类别 $j$ 的计数

后验：

$$\pi (\theta |\mathcal{D})\propto \prod _{j=1}^K{\theta }_j^{({\alpha }_j+k_j)-1}$$

因此：

$$\theta |\mathcal{D}\sim \text{Dir}({\alpha }_1+k_1,...,{\alpha }_K+k_K)$$

3.4 均匀Dirichlet的特殊性质

当 ${\alpha }_j=1$（均匀先验）时：

$$\text{Dir}(1,1,...,1)\propto 1$$

后验仍为Dirichlet，其参数为 $1+k_j$。

与拉普拉斯平滑的关系：

$${\hat{\theta }}_j^{Lapl}=\frac{k_j+1}{n+K}=\frac{({\alpha }_j+k_j)}{({\alpha }_j+k_j)+{\sum }_j({\alpha }_j+k_j)-{\alpha }_j}$$

当 ${\alpha }_j=1$ 时，这就是拉普拉斯平滑。

---

4. 泊松模型

4.1 问题设置

设 $X_1,...,X_n\sim \text{Poisson}(\lambda )$，即：

$$P(X_i=x)=\frac{{\lambda }^x{e}^{-\lambda }}{x!}$$

似然函数：

$$P(\mathcal{D}|\lambda )=\prod _{i=1}^n\frac{{\lambda }^{x_i}{e}^{-\lambda }}{x_i!}\propto {\lambda }^{\sum x_i}{e}^{-n\lambda }$$

4.2 Gamma先验

Gamma分布定义：

$$\lambda \sim \text{Gamma}(\alpha ,\beta )=\frac{{\beta }^{\alpha }}{\Gamma (\alpha )}{\lambda }^{\alpha -1}{e}^{-\beta \lambda }$$

其中 $\alpha$ 是形状参数，$\beta$ 是率参数（或 $\theta =1/\beta$ 是尺度参数）。

4.3 后验推导

先验：$\pi (\lambda )\propto {\lambda }^{\alpha -1}{e}^{-\beta \lambda }$

似然：$P(\mathcal{D}|\lambda )\propto {\lambda }^{\sum x_i}{e}^{-n\lambda }$

后验：

$$\pi (\lambda |\mathcal{D})\propto {\lambda }^{(\alpha +\sum x_i)-1}{e}^{-(\beta +n)\lambda }$$

因此：

$$\lambda |\mathcal{D}\sim \text{Gamma}\left(\alpha +\sum _{i=1}^n{X}_i,\beta +n\right)$$

4.4 更新公式

参数	更新公式
先验	$\alpha ,\beta$
后验	${\alpha }^{\prime }=\alpha +\sum x_i,{\beta }^{\prime }=\beta +n$

4.5 后验均值

$$\mathbb{E}[\lambda |\mathcal{D}]=\frac{\alpha +\sum x_i}{\beta +n}=\frac{\beta }{\beta +n}\cdot \frac{\alpha }{\beta }+\frac{n}{\beta +n}\cdot \bar{x}$$

这是先验均值和样本均值的加权平均。

---

5. 指数模型

5.1 问题设置

设 $X_1,...,X_n\sim \text{Exp}(\lambda )$，即：

$$P(X_i>x)=e^{-\lambda x},f(x)=\lambda e^{-\lambda x}$$

似然函数：

$$P(\mathcal{D}|\lambda )={\lambda }^n\exp \left\{-\lambda \sum _{i=1}^n{x}_i\right\}$$

5.2 共轭先验

指数分布的共轭先验也是Gamma分布：

$$\lambda \sim \text{Gamma}(\alpha ,\beta )$$

5.3 后验

$$\lambda |\mathcal{D}\sim \text{Gamma}\left(\alpha +n,\beta +\sum _{i=1}^n{X}_i\right)$$

---

6. 正态模型

6.1 已知方差，估计均值

设 $X_1,...,X_n\sim \mathcal{N}(\mu ,{\sigma }^2)$，其中 ${\sigma }^2$ 已知。

似然函数：

$$P(\mathcal{D}|\mu )\propto \exp \left\{-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(x_i-\mu {)}^2\right\}$$

正态先验：

$$\mu \sim \mathcal{N}({\mu }_0,{\sigma }_0^2)$$

后验推导：

$$\mu |\mathcal{D}\sim \mathcal{N}({\mu }_n,{\sigma }_n^2)$$

其中：

$${\sigma }_n^2={\left(\frac{1}{{\sigma }_0^2}+\frac{n}{{\sigma }^2}\right)}^{-1}$$ $${\mu }_n={\sigma }_n^2\left(\frac{{\mu }_0}{{\sigma }_0^2}+\frac{n\bar{x}}{{\sigma }^2}\right)$$

6.2 已知均值，估计方差

设 $X_1,...,X_n\sim \mathcal{N}(\mu ,{\sigma }^2)$，其中 $\mu$ 已知。

逆Gamma先验：

$${\sigma }^2\sim \text{Inv-Gamma}(\alpha ,\beta )$$

后验：

$${\sigma }^2|\mathcal{D}\sim \text{Inv-Gamma}\left(\alpha +\frac{n}{2},\beta +\frac{1}{2}\sum _{i=1}^n(x_i-\mu {)}^2\right)$$

6.3 均值和方差都未知

Normal-Inverse-Gamma先验：

$$\mu ,{\sigma }^2\sim \text{N-IG}({\mu }_0,{\kappa }_0,{\alpha }_0,{\beta }_0)$$

后验：

$$\mu ,{\sigma }^2|\mathcal{D}\sim \text{N-IG}({\mu }_n,{\kappa }_n,{\alpha }_n,{\beta }_n)$$

其中：

$${\kappa }_n={\kappa }_0+n,{\mu }_n=\frac{{\kappa }_0{\mu }_0+n\bar{x}}{{\kappa }_n}$$ $${\alpha }_n={\alpha }_0+\frac{n}{2}$$ $${\beta }_n={\beta }_0+\frac{1}{2}\sum _{i=1}^n(x_i-\bar{x}{)}^2+\frac{{\kappa }_{0}n(\bar{x}-{\mu }_0{)}^2}{2{\kappa }_n}$$

---

7. 共轭先验完整表

7.1 离散分布

似然	先验	后验参数	后验
Bernoulli($\theta$)	Beta($\alpha ,\beta$)	${\alpha }^{\prime }=\alpha +k$ ${\beta }^{\prime }=\beta +n-k$	Beta
Binomial($n,\theta$)	Beta($\alpha ,\beta$)	${\alpha }^{\prime }=\alpha +k$ ${\beta }^{\prime }=\beta +n-k$	Beta
Poisson($\lambda$)	Gamma($\alpha ,\beta$)	${\alpha }^{\prime }=\alpha +\sum x_i$ ${\beta }^{\prime }=\beta +n$	Gamma
Multinomial($\theta$)	Dir(${\alpha }_1,...,{\alpha }_K$)	${\alpha }_j^{\prime }={\alpha }_j+k_j$	Dir
Geometric($p$)	Beta($\alpha ,\beta$)	${\alpha }^{\prime }=\alpha +n$ ${\beta }^{\prime }=\beta +\sum x_i-n$	Beta

7.2 连续分布

似然	先验	后验参数	后验
Normal($\mu ,{\sigma }^2$), ${\sigma }^2$已知	$\mathcal{N}({\mu }_0,{\sigma }_0^2)$	${\mu }_n=\frac{{\sigma }_0^{2}n\bar{x}+{\sigma }^2{\mu }_0}{{\sigma }_0^{2}n+{\sigma }^2}$ ${\sigma }_n^2=\frac{{\sigma }_0^2{\sigma }^2}{{\sigma }_0^{2}n+{\sigma }^2}$	Normal
Normal($\mu ,{\sigma }^2$), $\mu$已知	Inv-Gamma($\alpha ,\beta$)	${\alpha }^{\prime }=\alpha +n/2$ ${\beta }^{\prime }=\beta +\frac{1}{2}\sum (x_i-\mu {)}^2$	Inv-Gamma
Normal($\mu ,{\sigma }^2$), 都未知	N-IG(${\mu }_0,{\kappa }_0,{\alpha }_0,{\beta }_0$)	见正文	N-IG
Exponential($\lambda$)	Gamma($\alpha ,\beta$)	${\alpha }^{\prime }=\alpha +n$ ${\beta }^{\prime }=\beta +\sum x_i$	Gamma

---

8. 共轭先验的Python实现

import numpy as np
from scipy import stats
from scipy.special import gammaln, betaln
 
class ConjugateUpdate:
    """共轭先验更新实现"""
    
    @staticmethod
    def beta_binomial_update(alpha, beta, successes, trials):
        """
        Beta-Binomial共轭更新
        
        参数:
            alpha, beta: 先验参数
            successes: 成功次数 k
            trials: 试验次数 n
        
        返回:
            后验参数 (alpha', beta')
        """
        return alpha + successes, beta + trials - successes
    
    @staticmethod
    def dirichlet_multinomial_update(alpha, counts):
        """
        Dirichlet-Multinomial共轭更新
        
        参数:
            alpha: 先验参数向量
            counts: 各类别计数
        
        返回:
            后验参数向量
        """
        return alpha + counts
    
    @staticmethod
    def gamma_poisson_update(alpha, beta, observations):
        """
        Gamma-Poisson共轭更新
        
        参数:
            alpha, beta: 先验参数
            observations: 观测数据
        
        返回:
            后验参数 (alpha', beta')
        """
        return alpha + np.sum(observations), beta + len(observations)
    
    @staticmethod
    def normal_known_var_update(mu0, sigma0_sq, sigma_sq, observations):
        """
        已知方差的正态均值估计的共轭更新
        
        参数:
            mu0, sigma0_sq: 先验均值和方差
            sigma_sq: 已知方差
            observations: 观测数据
        
        返回:
            后验均值和方差
        """
        n = len(observations)
        x_bar = np.mean(observations)
        
        sigma_n_sq = 1 / (1/sigma0_sq + n/sigma_sq)
        mu_n = sigma_n_sq * (mu0/sigma0_sq + n*x_bar/sigma_sq)
        
        return mu_n, sigma_n_sq
    
    @staticmethod
    def normal_unknown_var_update(mu0, kappa0, alpha0, beta0, observations):
        """
        均值和方差都未知的正态模型的共轭更新
        
        参数:
            mu0, kappa0, alpha0, beta0: N-IG先验参数
            observations: 观测数据
        
        返回:
            后验N-IG参数
        """
        n = len(observations)
        x = np.array(observations)
        x_bar = np.mean(x)
        
        kappa_n = kappa0 + n
        mu_n = (kappa0 * mu0 + n * x_bar) / kappa_n
        
        alpha_n = alpha0 + n / 2
        
        # 分解为两部分
        ss_between = kappa0 * n * (x_bar - mu0)**2 / (2 * kappa_n)
        ss_within = np.sum((x - x_bar)**2) / 2
        beta_n = beta0 + ss_between + ss_within
        
        return mu_n, kappa_n, alpha_n, beta_n
 
 
class PosteriorPredictive:
    """后验预测分布"""
    
    @staticmethod
    def beta_binomial_predictive(alpha, beta, n, x):
        """
        Beta-Binomial后验预测分布
        
        P(X=x | D) = C(n,x) * B(alpha+x, beta+n-x) / B(alpha, beta)
        """
        return (betaln(alpha + x, beta + n - x) - betaln(alpha, beta) + 
                np.log(np.math.comb(n, x)))
    
    @staticmethod
    def dirichlet_multinomial_predictive(alpha, n, x):
        """
        Dirichlet-Multinomial后验预测分布
        """
        return (np.sum([betaln(alpha_j + x_j, alpha_sum + n - alpha_sum_j) 
                        for alpha_j, x_j in zip(alpha, x)]) -
                betaln(alpha, alpha).sum() +
                gammaln(alpha.sum() + n) - gammaln(alpha.sum()))

---

9. 先验选择的实践指南

9.1 无信息先验

模型	Jeffreys先验
Bernoulli	$\pi (\theta )\propto {\theta }^{-1/2}(1-\theta {)}^{-1/2}$
Poisson	$\pi (\lambda )\propto {\lambda }^{-1/2}$
Normal($\mu ,{\sigma }^2$)	$\pi (\mu ,{\sigma }^2)\propto {\sigma }^{-3}$

9.2 经验贝叶斯

通过数据估计超参数：

$$\hat{\alpha },\hat{\beta }=\arg \underset{\alpha }{\max }\int P(\mathcal{D}|\alpha ,\beta )\pi (\alpha ,\beta )d\alpha d\beta$$

9.3 共轭先验的局限性

问题	解决方案
表达力有限	使用混合先验
不适用于复杂模型	变分推断、MCMC
可能过于主观	敏感性分析

---

10. 总结

共轭先验的优势

1. 计算简便：后验分布有解析形式
2. 在线学习：新数据可逐步更新
3. 可解释性：超参数有直观意义
4. 计算效率：适合大规模应用

何时使用

• 需要快速贝叶斯推断
• 在线学习场景
• 作为更复杂方法的近似
• 先验信息明确时

何时不使用

• 需要非共轭先验表达复杂信念
• 模型高度非线性
• 后验分布非标准形式

---

参考资料

---

相关主题

• bayesian-inference — 贝叶斯推断基础
• bayesian-estimation-theory — 贝叶斯估计理论
• exponential-family — 指数族分布
• hierarchical-bayesian-models — 层次贝叶斯模型
• empirical-bayes-prior-selection — 经验贝叶斯与先验选择

Footnotes

1. Gelman, A., et al. (2013). “Bayesian Data Analysis.” CRC Press. ↩

2. Bernardo, J. M., & Smith, A. F. M. (2009). “Bayesian Theory.” Wiley. ↩

3. Diaconis, P., & Ylvisaker, D. (1979). “Conjugate Priors for Exponential Families.” The Annals of Statistics. ↩