Logit正则化的隐式偏差

概述

Logit正则化——即直接在logit空间添加凸惩罚——在现代分类器中被广泛使用，Label Smoothing是其典型代表。arXiv:2602.12039 首次系统分析了这一类方法的隐式偏差机制，揭示了Logit聚类现象和Fisher线性判别对齐特性。¹

---

1. 问题设置

1.1 Logit正则化定义

考虑一个$C$-分类问题，定义Logit正则化为修改后的损失函数：

$${\ell }_{\alpha }(\mathbf{z},y)=(1-\alpha ){\ell }_{\text{CE}}(\mathbf{z},y)+\alpha f(\mathbf{z})\text{\hspace{1em}(1)}$$

其中：

• $\mathbf{z}\in {\mathbb{R}}^C$：模型输出的logits
• ${\ell }_{\text{CE}}$：交叉熵损失
• $f(\mathbf{z})$：正则化函数（凸函数）
• $\alpha \in [0,1]$：正则化强度

1.2 Label Smoothing特例

当 $f(\mathbf{z})=-\frac{1}{C}{\sum }_{c=1}^C{z}_c$ 且标签均匀分布时，即为Label Smoothing：

$${\ell }_{\text{LS}}(\mathbf{z},y)=(1-\alpha )\log (1+e^{z_y})+\alpha \left(\frac{1}{C}\sum _{c=1}^C{z}_c-z_y\right)$$

1.3 其他正则化形式

正则化类型	$f(\mathbf{z})$ 形式
Label Smoothing	$-\frac{1}{C}{\sum }_c{z}_c$
Logit Penalty	$\
Centered Smoothing	$-\frac{1}{C}\sum_c z_c + \frac{1}{2C}\

---

2. 核心发现：Logit聚类

2.1 隐式偏差定理

定理1（Logit聚类）：对于任意凸Logit正则化，当样本数 $n\to \infty$ 时，最小化经验风险的模型满足：

$$\Vert {\mathbf{z}}_i-{\mathbf{t}}_i\Vert \to 0\forall i$$

其中 ${\mathbf{t}}_i$ 是样本 $i$ 对应的有限目标logit向量。

2.2 目标向量结构

对于分类任务，目标向量为：

$${\mathbf{t}}_y={\mathbf{e}}_y-\frac{1}{C}1\text{(Label Smoothing)}$$

或更一般的：

$${\mathbf{t}}_y=\arg \underset{\mathbf{t}}{\min }f(\mathbf{t})\text{s.t.}{\mathbf{t}}^{\top }{\mathbf{e}}_y=c$$

2.3 几何解释

Logit正则化将优化目标从间隔最大化转变为Logit向有限目标聚类：

$$\text{Cross-Entropy}\Rightarrow \underset{\mathbf{w}}{\max }\frac{({\mathbf{w}}^{\top }\mathbf{x}{)}_y}{\Vert \mathbf{w}\Vert }\Rightarrow \underset{\mathbf{z}}{\min }\sum _i\Vert {\mathbf{z}}_i-{\mathbf{t}}_i\Vert$$

---

3. Fisher线性判别对齐

3.1 高斯数据假设

假设类别${\mathcal{C}}_k$的输入服从高斯分布：

$$\mathbf{x}\sim \mathcal{N}({\mathbf{\mu }}_k,\mathbf{\Sigma })\forall \mathbf{x}\in {\mathcal{C}}_k$$

3.2 主要定理

定理2（Fisher对齐）：在上述高斯假设下，最小化Logit正则化损失的权重向量 $\mathbf{w}$ 精确对齐到Fisher线性判别方向：

$${\mathbf{w}}^{\star }\propto {\mathbf{\Sigma }}^{-1}({\mathbf{\mu }}_1-{\mathbf{\mu }}_2)\text{(二分类)}$$

3.3 证明概要

1. Logit聚类：由定理1，样本logits聚集到类别特定的目标向量
2. 线性分类器：$\mathbf{z}=\mathbf{Wx}$，其中 $\mathbf{W}$ 为权重矩阵
3. 最优性条件：最小化 $\Vert \mathbf{W}{\mathbf{x}}_i-{\mathbf{t}}_i\Vert$ 等价于最大化类别间间隔
4. Fisher对齐：在共同协方差假设下，最优方向为 ${\mathbf{\Sigma }}^{-1}({\mathbf{\mu }}_1-{\mathbf{\mu }}_2)$

---

4. 样本复杂度分析

4.1 关键发现

发现：Logit正则化将关键样本复杂度从 ${\lambda }_c=1/2$ 移位到 ${\lambda }_c=1$！

其中 $\lambda =n/d$ 是样本-维度比。

4.2 信号-噪声模型

考虑简化信号-噪声模型：

$$y={\mathbf{w}}^{\star }\cdot \mathbf{x}+\xi ,\xi \sim \mathcal{N}(0,{\sigma }_n^2)$$

4.3 泛化边界

定理3（样本复杂度）：对于Logit正则化（$\alpha >0$），泛化误差满足：

$$\mathbb{E}[\text{Error}]\le \underset{\text{估计方差}}{\underbrace{\frac{{\sigma }_n^2}{n}}}+\underset{\text{正则化偏差}}{\underbrace{\frac{\alpha }{1-\alpha }\cdot \frac{d}{n}}}$$

当 $\alpha \to 1$ 时，样本复杂度减半。

4.4 边界对比

方法	关键样本复杂度 ${\lambda }_c$	泛化上界
标准交叉熵	$1/2$	$O(1/\lambda )$
Logit正则化	$1$	$O(1/(2\lambda ))$

---

5. Grokking现象

5.1 小噪声极限

定理4（Grokking诱导）：在 $1/2<\lambda <1$ 区域，Logit正则化诱导延迟泛化（Grokking）。

5.2 延迟机制

延迟时间随正则化强度 $\alpha$ 的关系：

$$T_{\text{delay}}\sim \frac{1}{\alpha -{\alpha }_c}\text{当 }\alpha \to {\alpha }_c^{+}$$

其中 ${\alpha }_c$ 是临界正则化强度。

5.3 物理解释

1. 快速过拟合：模型快速记住训练样本
2. 缓慢正则化：Logit聚类目标驱动权重缓慢调整
3. 突然泛化：当权重对齐Fisher方向时泛化能力涌现

---

6. 噪声鲁棒性

6.1 正交噪声分析

假设噪声方向与信号方向正交：

$${\mathbf{\Sigma }}_{\xi }={\sigma }_n^2{\mathbf{P}}_{{\mathbf{w}}^{\star }}^{\perp }$$

6.2 鲁棒性定理

定理5（噪声鲁棒性）：Logit正则化的泛化准确度对正交噪声尺度 ${\sigma }_n$ 不变：

$$\mathbb{E}[\text{Acc}|{\sigma }_n]=\text{constant}\forall {\sigma }_n$$

6.3 最差情况余弦相似度

$${\rho }_{\min }=\frac{1}{\sqrt{1+(C/{\sigma }_n{)}^2}}$$

当 $C/{\sigma }_n\gg 1$ 时，${\rho }_{\min }\approx C/{\sigma }_n$ 接近1。

---

7. 与现有工作的联系

• implicit-bias-gradient-descent：梯度下降的隐式偏差理论
• sharp-flat-minima：平坦最小值与泛化的联系
• neural-collapse：Neural Collapse现象与分类器对齐

---

8. 实践建议

8.1 正则化强度选择

任务类型	推荐 $\alpha$
图像分类	0.1 - 0.2
语言建模	0.05 - 0.1
小样本学习	0.2 - 0.3

8.2 何时使用

场景	推荐使用	不推荐使用
数据不平衡	✓
标签噪声	✓
需校准输出	✓
需锐利间隔		✓

8.3 与其他技术结合

• 与Label Smoothing结合：使用更高 $\alpha$ 值
• 与Mixup结合：增强泛化能力
• 与对抗训练结合：改善对抗鲁棒性

---

参考文献

Footnotes

1. Beck, A. (2026). The Implicit Bias of Logit Regularization. arXiv:2602.12039. ↩