信息论深度学习统一框架

本文介绍一个统一的信息论框架，将学习视为对数损失下的通用预测问题，通过 regret bound 进行刻画。该框架揭示了成功架构为何有效，并为设计新型神经网络架构提供了理论指导。¹

---

1. 核心思想：学习作为通用预测

1.1 从贝叶斯最优预测器出发

给定训练样本 $S_n=\{z_1,\dots ,z_n\}$，其中 $z_i\sim p^{\ast }$ 为未知分布，学习的目标是预测下一个样本 $z_{n+1}$ 的条件分布 $p^{\ast }(\cdot |z_1,\dots ,z_n)$。

贝叶斯最优预测器定义为模型类的贝叶斯混合：

$$P_{mix}(z|z_{1:n})={\int }_{\theta \in \Theta }P(z|\theta )\cdot P(\theta |S_n)d\theta$$

其中 $P(\theta )$ 为先验分布，$P(\theta |S_n)$ 为后验分布。

1.2 Regret定义

对于任意”专家”（单个模型）$\theta$，定义累积对数损失：

$$L(\theta )=\sum _{t=1}^n-\log P_{\theta }(z_t)$$

顺序Bayes Regret：

$${\mathcal{R}}_n(P_{mix})=\mathbb{E}[L(P_{mix})-L({\theta }^{\ast })]$$

其中 ${\theta }^{\ast }=\arg {\min }_{\theta }L(\theta )$ 为最优专家（假设存在）。

关键洞察：顺序预测中的后悔值满足：

$${\mathcal{R}}_n(P_{mix})\le \frac{1}{2}\text{KL}(P(\theta )\Vert P(\theta |S_n))+\log \frac{1}{\pi ({\theta }^{\ast })}$$

这建立了后验与regret之间的直接联系。

---

2. 非均匀模型复杂度

2.1 有效复杂度的定义

传统VC维或Rademacher复杂度是”均匀”的——它们为整个假设空间分配一个复杂度。但在过参数化模型中，真正起作用的只是靠近数据生成过程的模型子集。

有效复杂度定义：设 ${\mathcal{V}}_{ϵ}({\theta }^{\ast })$ 为以 ${\theta }^{\ast }$ 为中心、$ϵ$-KL半径内的模型集合，则

$${\mathcal{C}}_{eff}(ϵ)=-\log P({\mathcal{V}}_{ϵ}({\theta }^{\ast }))$$

即该集合的概率质量的对数（以先验度量）。

2.2 非均匀Regret Bound

核心定理：以至少 $1-\delta$ 的概率，有

$${\mathcal{R}}_n\le \sqrt{\frac{{\mathcal{C}}_{eff}(ϵ)}{2}}+\sqrt{\frac{nϵ}{2}}+\sqrt{\frac{\log (1/\delta )}{2}}$$

这表明：

• 有效复杂度 ${\mathcal{C}}_{eff}$ 控制第一项
• $ϵ$ 控制第二项（允许的近似质量）
• 存在最优的 $ϵ$ 平衡两项

2.3 与模型选择的关系

对于嵌套模型类 ${\mathcal{M}}_1\subset {\mathcal{M}}_2\subset \cdots$，有效复杂度满足：

$${\mathcal{C}}_{eff}({\mathcal{M}}_k)\le {\mathcal{C}}_{eff}({\mathcal{M}}_{k-1})+\log |{\mathcal{M}}_k|-\log |{\mathcal{M}}_{k-1}|$$

这解释了为什么过参数化模型（嵌套在更大的类中）仍然可以泛化：有效复杂度主要取决于”有用”的子集。

---

3. Fisher信息矩阵与谱性质

3.1 Fisher信息矩阵定义

对于参数化模型 $p(z|\theta )$，Fisher信息矩阵为：

$$\mathcal{F}(\theta )={\mathbb{E}}_{z\sim p^{\ast }}\left[{\nabla }_{\theta }\log p(z|\theta ){\nabla }_{\theta }\log p(z|\theta {)}^{\top }\right]$$

与有效复杂度的联系：在数据生成过程 $p^{\ast }$ 附近，

$${\mathcal{C}}_{eff}(ϵ)\approx \frac{d_{eff}({\theta }^{\ast })}{2}\log \frac{1}{ϵ}$$

其中有效维度 $d_{eff}({\theta }^{\ast })$ 是 $\mathcal{F}({\theta }^{\ast })$ 谱性质的函数。

3.2 有效维度

定义有效维度（谱熵形式）：

$$d_{eff}(\theta )=\frac{{\left({\sum }_i{\lambda }_i\right)}^2}{{\sum }_i{\lambda }_i^2}$$

其中 ${\lambda }_i$ 是 $\mathcal{F}(\theta )$ 的特征值。

性质：

• 若所有特征值相等（${\lambda }_i=\lambda$），则 $d_{eff}=d$（满维）
• 若特征值快速衰减，则 $d_{eff}\ll d$（低有效维）

3.3 Hessian的谱分析

期望Hessian与Fisher信息矩阵的关系：

$$\mathbb{E}[{\nabla }^{2}L(\theta )]=\mathcal{F}(\theta )-\mathbb{E}[{\nabla }^2\log p^{\ast }(z|\theta )]$$

在数据分布 $p^{\ast }$ 与模型族 $p(\cdot |\theta )$ 一致时（正确指定），两者相等。

---

4. SGD作为近似贝叶斯推断

4.1 SGD的不变测度

考虑SGD的连续时间极限——随机梯度流。关键发现是：SGD的平稳分布 $q^{\ast }(\theta )$ 近似于后验分布 $P(\theta |S_n)$ 的某种变分近似。

SGD的随机微分方程：

$$d{\theta }_t=-\nabla L({\theta }_t)dt+\sqrt{2T}d{W}_t$$

其中 $T$ 为”温度”参数，$W_t$ 为维纳过程。

4.2 温度与学习率的联系

SGD的等效温度：

$$T=\frac{\eta \cdot \text{var}(\nabla L)}{2}$$

其中 $\eta$ 为学习率。

退火效应：随着训练进行，学习率通常衰减，相当于降低温度。这导致：

• 初期：高温 $\Rightarrow$ 探索后验的高概率区域
• 后期：低温 $\Rightarrow$ 收敛到后验峰值（可能是尖锐或平坦极小）

4.3 Flat Minima的信息论解释

平坦极小的Hessian特征值小 $\Rightarrow$ Fisher信息矩阵在该区域小 $\Rightarrow$ 有效复杂度低 $\Rightarrow$ 更好的泛化。

这提供了平坦极小与泛化之间联系的信息论解释。

---

5. 层状结构的归纳偏置

5.1 组合架构的复杂度

现代深度学习架构（如Transformer、DNN）的核心特征是组合结构：整个模型由层次化堆叠的模块组成。

组合复杂度的递归关系：

设 ${\mathcal{M}}^{(k)}$ 为 $k$ 层模型的类。令 $w^{(k)}$ 表示第 $k$ 层参数，则

$${\mathcal{C}}_{eff}({\mathcal{M}}^{(k)})\approx {\mathcal{C}}_{eff}({\mathcal{M}}^{(k-1)})+d_{eff}(w^{(k)})$$

其中 $d_{eff}(w^{(k)})$ 是第 $k$ 层参数的有效维度。

5.2 宽度 vs 深度的权衡

对于宽而浅的网络：

$${\mathcal{C}}_{eff}\approx O(d\cdot \log W)$$

其中 $W$ 为宽度，$d$ 为层数。

对于窄而深的网络：

$${\mathcal{C}}_{eff}\approx O(\log W\cdot d_{eff,total})$$

关键洞察：对于固定的参数总数，深度网络往往具有更窄的有效复杂度范围——这既是优点（更易学习）也是缺点（表达能力受限）。

5.3 Transformer的特殊性质

Transformer的自注意力机制产生特殊的谱结构：

• 注意力矩阵的特征值分布高度不均匀
• 多头注意力创造了多个”有效子空间”
• 位置编码打破了排列对称性

这解释了为什么Transformer能够在极度过参数化的情况下仍然有效。

---

6. 与PAC-Bayes和奇异学习理论的联系

6.1 PAC-Bayes视角

标准PAC-Bayes边界：

$$R(Q)\le {\hat{R}}_S(Q)+\sqrt{\frac{\text{KL}(Q\Vert P)+\log (m/\delta )}{2m}}$$

新框架的推广：

将KL散度替换为更精细的局部复杂度度量：

$$R(Q)\le {\hat{R}}_S(Q)+\sqrt{\frac{{\mathcal{C}}_{eff}(ϵ;Q)+\log (m/\delta )}{2m}}$$

这解释了为什么PAC-Bayes边界在深度学习中往往宽松。

6.2 奇异学习理论

Watanabe的奇异学习理论关注奇异的模型族（如神经网络），其Fisher信息矩阵是奇异的。

通用学习度 $\frac{1}{{\lambda }_n}$ 的倒数和：

$$\sum _{n=1}^{\infty }\frac{1}{{\lambda }_n}=\infty$$

决定了可学习性。

新框架的统一：有效维度 $d_{eff}$ 捕捉了 Watanabe 的奇异性度量，同时提供了计算可行的近似。

---

7. 实践意义与未来方向

7.1 架构设计指导

根据该框架，成功的架构应满足：

1. 宽广的复杂度范围：能够适应从简单到复杂的任务
2. 低有效维度：在数据附近有大量”好”模型
3. 谱结构良好：Fisher信息矩阵的特征值分布合理

7.2 未来研究方向

• 设计新型架构，具有类似Transformer的复杂度范围
• 利用Fisher信息分析指导模型压缩
• 理解不同优化器的信息论等价性

---

参考资料

Footnotes

1. Feder, M., Urbanke, R., & Fogel, Y. (2025). Information-Theoretic Framework for Understanding Modern Machine-Learning. arXiv:2506.07661. ↩