神经架构搜索(NAS)研究索引

1. 内容概览

本索引涵盖神经架构搜索（Neural Architecture Search, NAS）领域的核心内容，包括基础理论、搜索方法、评估基准和最新研究进展。

---

2. 文档导航

2.1 基础理论

文档	描述	难度
NAS基础与分类体系	NAS定义、搜索策略、搜索空间设计、经典基准	⭐
NAS基准与评估	NAS-Bench-101/201/301/360、零代价代理评估	⭐⭐

2.2 搜索方法

文档	描述	难度
Zero-Shot NAS方法	梯度度量、NTK分析、频谱分析、因果推断	⭐⭐
DARTS变体综述	DARTS基础、Skip连接问题、变体方法	⭐⭐⭐
LLM引导的NAS	ZeroLM、RZ-NAS、LLM-NAS方法	⭐⭐⭐
硬件感知NAS	Jet-Nemotron、PostNAS、延迟建模	⭐⭐⭐

---

3. 学习路径建议

3.1 入门路径（建议学习顺序）

1. NAS基础与分类体系
   ↓
2. NAS基准与评估
   ↓
3. Zero-Shot NAS方法
   ↓
4. DARTS变体综述

目标： 理解NAS的基本概念、搜索策略和经典方法。

3.2 进阶路径

1. NAS基础与分类体系
   ↓
2. DARTS变体综述
   ↓
3. LLM引导的NAS
   ↓
4. 硬件感知NAS

目标： 掌握主流的搜索方法，特别是最新的研究方向。

3.3 研究路径

1. NAS基础与分类体系
   ↓
2. Zero-Shot NAS方法（理论深度）
   ↓
3. DARTS变体综述（理论分析）
   ↓
4. LLM引导的NAS
   ↓
5. 硬件感知NAS

目标： 全面理解NAS领域，为研究打下基础。

---

4. 核心公式速查

4.1 NAS优化问题

双层优化框架：

$$\underset{\alpha }{\min }{\mathcal{L}}_{\text{val}}({\omega }^{\ast }(\alpha ),\alpha )\text{s.t.}{\omega }^{\ast }(\alpha )=\arg \underset{\omega }{\min }{\mathcal{L}}_{\text{train}}(\omega ,\alpha )$$

4.2 DARTS连续松弛

操作混合：

$${\bar{o}}^{(i,j)}(x)=\sum _{o\in \mathcal{O}}\frac{\exp ({\alpha }_o^{(i,j)})}{{\sum }_{o^{\prime }\in \mathcal{O}}\exp ({\alpha }_{o^{\prime }}^{(i,j)})}\cdot o(x)$$

4.3 Zero-Shot代理指标

SNIP分数：

$${\text{Score}}_{\text{SNIP}}=\sum _l\sum _{i,j}|{\omega }_{l,ij}|\cdot \left|\frac{\partial \mathcal{L}}{\partial {\omega }_{l,ij}}\right|$$

Synflow分数：

$${\text{Score}}_{\text{Synflow}}=\sum _l\sum _{i,j}\left|\prod _{l^{\prime }\ge l}{\omega }_{l^{\prime }}\right|$$

4.4 硬件感知优化

$$\underset{\alpha }{\max }\text{Acc}(\alpha )\text{s.t.}\{\begin{array}{l}\text{Latency}(\alpha )\le L_{\max }\\ \text{Energy}(\alpha )\le E_{\max }\end{array}$$

---

5. 方法对比表

5.1 搜索策略对比

方法	计算成本	搜索质量	适用场景
强化学习	高	高	大规模搜索
进化算法	高	中高	多目标优化
梯度方法	中	中	快速搜索
Zero-Shot	低	中	超快速筛选
LLM引导	低-中	中高	知识引导

5.2 Zero-Shot代理对比

代理	数据依赖	计算复杂度	理论基础
SNIP	是	$O(1)$	敏感性分析
GraSP	是	$O(1)$	Hessian分析
Synflow	否	$O(1)$	网络流
NTK	是	$O(n^2)$	核理论
因果推断	部分	$O(n)$	因果理论

5.3 DARTS变体对比

方法	Skip问题	内存效率	搜索质量
DARTS	严重	低	中等
ZO-DARTS++	缓解	高	良好
FX-DARTS	解决	中等	优秀
半搜索	轻微	高	良好

---

6. 研究前沿

6.1 2025-2026年热点方向

方向	代表工作	重要性
LLM引导NAS	ZeroLM, RZ-NAS	⭐⭐⭐
硬件感知NAS	Jet-Nemotron	⭐⭐⭐
Zero-Shot理论	因果推断框架	⭐⭐⭐
可扩展NAS	PostNAS	⭐⭐
高效DARTS	ZO-DARTS++, FX-DARTS	⭐⭐

6.2 开放问题

1. 理论完善： Zero-Shot代理与性能的数学关系尚未完全建立
2. 基准更新： 现有基准基于传统架构，需要现代化
3. 多目标优化： Pareto前沿识别的理论保证
4. 迁移性： 搜索空间到任务的迁移理论
5. 可复现性： 搜索结果的可复现性挑战

---

7. 相关领域索引

7.1 机器学习基础

• SVM支持向量机
• 决策树与随机森林
• 逻辑回归

7.2 深度学习架构

• Transformer数学基础
• SSM-Transformer混合架构
• Vision Transformer

7.3 优化与理论

• NTK理论深度解析
• 自适应优化器理论
• 隐式正则化

7.4 模型效率

• 模型量化
• 模型剪枝
• 知识蒸馏基础

---

8. 资源链接

8.1 基准数据集

基准	地址	说明
NAS-Bench-101	https://github.com/google-research/nasbench
NAS-Bench-201	https://github.com/D-X-Y/NAS-Bench-201
NAS-Bench-301	https://github.com/automl/NAS-Bench-301
NAS-Bench-360	https://github.com/automl/nas_bench_360

8.2 开源代码

方法	仓库	说明
DARTS	https://github.com/quark0/darts
ZeroLM	(arXiv发布)	2025新方法
RZ-NAS	https://github.com/PasaLab/RZ-NAS	ICML 2025
Jet-Nemotron	https://github.com/NVlabs/Jet-Nemotron	NeurIPS 2025

---

9. 更新日志

日期	更新内容
2026-05-17	初始版本，包含5个核心文档
-	持续更新中

---

10. 贡献指南

欢迎补充以下内容：

1. 更多DARTS变体方法
2. NAS在特定领域的应用
3. 最新研究成果更新
4. 代码实现示例

---

最后更新：2026-05-17