Metaphor

贝叶斯深度学习专题索引

10分钟阅读

专题概览

贝叶斯深度学习将概率论与深度学习相结合，是现代AI系统实现可信、可靠、可解释推断的核心技术栈。本专题涵盖：

  • 理论基础：贝叶斯估计、概率校准
  • 近似方法：变分推断、Laplace近似、MCMC
  • 不确定性量化：BNN、LLM校准
  • 应用场景：主动学习、异常检测、决策系统

专题内容

基础理论

文件描述关键词
贝叶斯估计理论基础频率学派vs贝叶斯学派、后验分布、MAP估计、贝叶斯决策理论贝叶斯统计、MLE vs MAP、共轭先验
概率校准理论ECE、可靠性图、Platt Scaling、温度调节校准误差、NLL、Brier分数

PAC-Bayes理论（新）

文件描述关键词
PAC-Bayes边界理论PAC-Bayes基础、压缩边界、泛化保证PAC学习、贝叶斯后验
PAC-Bayes边界有效性分析边界何时有效、必要条件、与Rademacher比较边界有效性、风险方差
PAC-Bayes DNN高斯先验边界全连接DNN的高斯先验PAC-Bayes边界深度缩放、宽度缩放
PAC-Bayes深度网络风险认证个体预测认证、局部化先验、PAC-Bayes Loss安全AI、可认证风险
统一PAC-Bayes框架随机集合、数据依赖假设空间、JMLR 2024统一边界、体积估计
PAC-Bayes Transformer泛化注意力分散度、位置编码、深度分析Transformer PAC-Bayes

近似推断方法

文件描述关键词
变分推断进阶BBVI、重参数化梯度、SVI、归一化流变分下界、重参数化
变分推断新进展2025VIKING、全局收敛、函数空间VI2025进展
VI隐式正则化VI利用SGD隐式偏差、ICLR 2026隐式正则化、VI-SGD统一
函数空间变分推断函数空间VI、NTK联系、随机函数函数空间、不确定性量化
VI稳定性泛化边界稳定性分析、累积梯度范数、与PAC-Bayes比较训练动态、稳定性系数
Laplace近似深度解析Hessian近似、K-FAC、后验预测分布神经网络后验、结构化近似
MC Dropout贝叶斯近似、不确定性估计Dropout作为变分推断

贝叶斯神经网络

文件描述关键词
Bayesian Neural Networks权重不确定性、贝叶斯推断BNN基础
BNN不确定性量化认知/偶然不确定性分解不确定性类型
BNN高级推断推断方法对比、最优实践KFAC、SWAG
Bayes by Backprop权重分布学习随机梯度变分推断

大语言模型

文件描述关键词
LLM不确定性量化过度自信、幻觉检测、校准Token概率、语义熵、CoT-UQ
Constitutional AI自我改进与校准AI安全

概率图模型

文件描述关键词
贝叶斯网络条件独立性、信念传播有向图模型
Markov网络与CRF无向图模型、团势函数条件随机场
因子图与消息传递和积算法、置信传播因子图
loopy Belief Propagation环状结构的近似推断LBP

概率建模

文件描述关键词
指数族分布共轭先验、Fisher信息自然梯度
高斯过程函数空间贝叶斯推断GP回归
隐马尔可夫模型序列建模、维特比算法HMM
序列标注CRF线性链CRF、NER应用BiLSTM-CRF

集成与采样

文件描述关键词
集成学习统一理论Bagging、Boosting、Stacking模型集成
MCMC方法Metropolis-Hastings、HMC马尔可夫链蒙特卡洛
Hamiltonian Monte Carlo几何动力学采样HMC、NUTS

学习路径

路径一：入门路线

1. 概率基础
   ├── 复习概率论基础
   └── [[probability-calibration-theory|概率校准理论]]

2. 贝叶斯统计
   └── [[bayesian-estimation-theory|贝叶斯估计理论基础]]

3. BNN基础
   ├── [[bayesian-neural-networks|BNN基础]]
   └── [[mc-dropout|MC Dropout]]

4. 实践应用
   └── [[bayesian-neural-networks-uncertainty|BNN不确定性量化]]

路径二：进阶路线

1. 理论基础
   ├── [[variational-inference-advanced|变分推断进阶]]
   └── [[laplace-approximation-deep-dive|Laplace近似]]

2. 高维推断
   ├── [[mcmc-methods|MCMC方法]]
   └── [[hamiltonian-monte-carlo|HMC]]

3. 概率图模型
   ├── [[bayesian-networks|贝叶斯网络]]
   └── [[factor-graphs-message-passing|因子图]]

4. 高级应用
   └── [[llm-uncertainty-quantification|LLM不确定性量化]]

路径三：LLM专项

1. 校准基础
   └── [[probability-calibration-theory|概率校准理论]]

2. LLM不确定性
   └── [[llm-uncertainty-quantification|LLM不确定性量化]]

3. 幻觉检测
   └── 同一文件中的"幻觉检测"章节

4. 实际部署
   └── 最佳实践指南章节

核心概念关联图

                    ┌─────────────────┐
                    │  贝叶斯统计基础  │
                    │  (bayesian-     │
                    │   estimation)    │
                    └────────┬────────┘
                             │
         ┌───────────────────┼───────────────────┐
         │                   │                   │
         ▼                   ▼                   ▼
┌─────────────────┐  ┌──────────────┐  ┌─────────────────┐
│   近似推断方法   │  │   概率校准   │  │   概率图模型    │
│                 │  │              │  │                 │
│ • 变分推断      │  │ • ECE        │  │ • 贝叶斯网络    │
│ • Laplace近似   │  │ • 可靠性图   │  │ • 马尔可夫网络  │
│ • MCMC          │  │ • Platt等    │  │ • 因子图        │
└────────┬────────┘  └──────┬───────┘  └────────┬────────┘
         │                   │                   │
         └───────────────────┼───────────────────┘
                             │
                             ▼
                 ┌───────────────────────┐
                 │  贝叶斯神经网络 (BNN) │
                 │                       │
                 │ • 权重不确定性        │
                 │ • 预测不确定性        │
                 │ • 认知/偶然分解      │
                 └───────────┬───────────┘
                             │
         ┌───────────────────┼───────────────────┐
         │                   │                   │
         ▼                   ▼                   ▼
┌─────────────────┐  ┌──────────────┐  ┌─────────────────┐
│   经典应用       │  │   LLM应用    │  │   科学应用      │
│                 │  │              │  │                 │
│ • 主动学习      │  │ • 不确定性   │  │ • 气候建模      │
│ • 异常检测      │  │ • 幻觉检测   │  │ • 药物发现      │
│ • 鲁棒决策      │  │ • 校准       │  │ • 物理模拟      │
└─────────────────┘  └──────────────┘  └─────────────────┘

工具与库

库名描述链接
Laplace-Torch神经网络Laplace近似GitHub
TensorFlow Probability概率编程与MCMCGitHub
PyMCPython贝叶斯建模PyMC官网
NumPyroJAX加速贝叶斯推断GitHub
BayesPromptsLLM概率校准GitHub

论文推荐

经典论文

  1. “On Calibration of Modern Neural Networks” (ICML 2017)

    • 现代神经网络不校准的首次系统性研究
    • 温度调节的提出

  2. “Laplace Redux — Effortless Bayesian Deep Learning” (NeurIPS 2021)

    • Laplace近似的系统性应用
    • 开源库Laplace-Torch

  3. “MC Dropout: A Simple Bayesian Approach” (ICML 2016)

    • Dropout作为贝叶斯近似

最新论文 (2024-2026)

  1. “CoT-UQ: Chain-of-Thought Enhanced Uncertainty Quantification” (2025)

    • LLM推理过程的不确定性量化

  2. “Split-Ensemble: Efficient OOD Detection” (2024)

    • 无额外计算的不确定性估计

  3. “Semantic Entropy Probes Language Models” (ICLR 2024)

    • 语义级不确定性估计

常见问题

Q: 何时使用贝叶斯方法？

A: 当需要：

  • 预测的置信度估计
  • 样本级不确定性量化
  • 不 OOD（分布外）检测
  • 小样本学习
  • 知识更新/在线学习

Q: Laplace近似 vs 变分推断？

方面Laplace近似变分推断
近似形式高斯可选择的变分族
计算成本中等可低可高
理论保证渐近下界保证
实践更简单更灵活

Q: 如何选择校准方法？

场景推荐方法
快速原型温度调节
多分类Isotonic Regression
大模型语义校准

贡献者指南

如果你想为这个专题贡献内容：

  1. 内容覆盖：确保覆盖新方法的理论基础和实践代码
  2. 交叉引用：链接到相关的wiki文件
  3. 代码质量：提供完整可运行的PyTorch/TensorFlow代码
  4. 数学严谨：所有公式需要清晰标注变量含义
  5. 最新进展：关注顶会论文并及时更新

更新日志

本专题持续更新中，欢迎关注最新进展。

关系图谱

反向链接