凸优化理论基础 - 索引

凸优化理论基础 - 模块索引

本文档为凸优化理论基础模块提供导航、学习路径建议和核心公式速查。

模块概览

本模块系统介绍凸优化理论基础及其在深度学习中的应用：

文档	大小	内容
凸优化基础理论	~6KB	凸集、凸函数、基本性质
拉格朗日对偶与KKT条件	~8KB	对偶理论、强对偶、KKT条件
Fenchel对偶与近端算子	~8KB	共轭函数、Moreay包络、近端梯度法
深度学习的凸优化视角	~8KB	神经网络凸 formulation、损失景观分析
深度学习中的约束优化	~8KB	投影梯度、增广拉格朗日、KKT Nets

学习路径

路径1：理论基础（推荐顺序）

1. convex-optimization-fundamentals.md
   ↓
2. lagrangian-duality-kkt-conditions.md
   ↓
3. fenchel-duality-proximal-operators.md
   ↓
4. convex-perspective-deep-learning.md
   ↓
5. constrained-optimization-deep-learning.md

目标读者：希望系统掌握凸优化理论基础的研究者

预计学习时间：4-6小时

路径2：应用导向

1. convex-optimization-fundamentals.md（第1-2节）
   ↓
2. constrained-optimization-deep-learning.md
   ↓
3. convex-perspective-deep-learning.md

目标读者：希望将约束优化应用于实际问题的工程师

预计学习时间：2-3小时

路径3：深度学习理论深化

1. convex-perspective-deep-learning.md
   ↓
2. lagrangian-duality-kkt-conditions.md（第7-8节）
   ↓
3. constrained-optimization-deep-learning.md（第4-5节）

目标读者：希望理解深度学习优化理论的研究者

预计学习时间：3-4小时

核心公式速查

凸函数定义

凸函数：

$$f(\lambda x+(1-\lambda )y)\le \lambda f(x)+(1-\lambda )f(y),\forall \lambda \in [0,1]$$

严格凸：不等式严格（$x\ne y$ 且 $\lambda \in (0,1)$）

对偶函数

拉格朗日函数：

$$L(x,\lambda ,\nu )=f_0(x)+\sum _{i=1}^m{\lambda }_i{f}_i(x)+\sum _{j=1}^p{\nu }_j{h}_j(x)$$

对偶函数：

$$\theta (\lambda ,\nu )=\underset{x}{\inf }L(x,\lambda ,\nu )$$

KKT条件

原始可行：

$$f_i(x^{\ast })\le 0,h_j(x^{\ast })=0$$

对偶可行：${\lambda }_i^{\ast }\ge 0$

平稳性：

$$\nabla f_0(x^{\ast })+\sum _i{\lambda }_i^{\ast }\nabla f_i(x^{\ast })+\sum _j{\nu }_j^{\ast }\nabla h_j(x^{\ast })=0$$

互补松弛：${\lambda }_i^{\ast }{f}_i(x^{\ast })=0$

Fenchel共轭

$$f^{\ast }(y)=\underset{x}{\sup }\{y^{T}x-f(x)\}$$

Fenchel不等式：

$$f(x)+f^{\ast }(y)\ge x^{T}y$$

近端算子

$${\text{prox}}_f(x)=\arg \underset{y}{\min }\left\{f(y)+\frac{1}{2}\Vert y-x{\Vert }_2^2\right\}$$

近端梯度法

$$x^{k+1}={\text{prox}}_{\alpha h}(x^k-\alpha \nabla g(x^k))$$

主题关联图

凸优化基础理论
├── 凸集与凸函数
│   └── 分离定理
├── 拉格朗日对偶
│   ├── 弱对偶与强对偶
│   ├── Slater条件
│   └── KKT条件
├── Fenchel对偶
│   ├── 共轭函数
│   ├── Moreau包络
│   └── 近端算子
└── 深度学习应用
    ├── 凸神经网络
    ├── 隐式正则化
    ├── 损失景观分析
    └── 约束优化方法
        ├── 投影梯度下降
        ├── 增广拉格朗日
        └── KKT Nets

与其他模块的连接

机器学习优化

关联主题	连接内容
自适应优化器	优化器收敛性分析使用对偶理论
隐式正则化	权重衰减的对偶解释
学习率调度	收敛速率分析
信息几何	Bregman散度与自然梯度

深度学习理论

关联主题	连接内容
NTK理论	无限宽网络与凸核方法
ResNet动态系统	残差连接与近端算子
Grokking理论	损失景观几何

应用领域

关联主题	连接内容
对抗鲁棒性	Lipschitz约束与鲁棒优化
联邦学习隐私	差分隐私的凸优化视角
贝叶斯深度学习	变分推断与对偶理论

推荐参考资料

经典教材

1. Boyd & Vandenberghe (2004) - Convex Optimization[^1]
2. Bertsekas (2009) - Convex Optimization Theory[^2]
3. Nesterov (2004) - Introductory Lectures on Convex Optimization[^3]
4. Rockafellar (1970) - Convex Analysis[^4]

深度学习优化

1. Pilanci Group - Neural Networks and Convex Optimization (Stanford)
2. Bubeck (2015) - Convex Optimization: Algorithms and Complexity[^5]

最近的论文

1. Kim et al. (ICLR 2025) - Loss Landscape via Convex Duality[^6]
2. Boero et al. (2025) - AL-COLE: Augmented Lagrangian for Constrained Learning[^7]
3. Cai et al. (ICLR 2025) - Implicit Bias for Non-Homogeneous Networks[^8]

更新日志

日期	内容
2026-05-18	初始版本，包含5个核心文档

---

最后更新：2026-05-18