Metaphor

神经架构搜索专题

6分钟阅读

神经架构搜索专题

神经架构搜索（Neural Architecture Search, NAS）是自动化机器学习（AutoML）的核心子领域，旨在自动设计神经网络架构，减少人工设计的专家成本和迭代时间。

专题内容导航

📚 基础知识

文档内容概要
神经架构搜索基础搜索空间定义、搜索策略分类、优化目标设定
DARTS可微架构搜索连续松弛、双层优化、softmax混合

🚀 核心算法

文档内容概要
免训练NAS零代价代理指标、梯度相关/拓扑相关/信息论方法
硬件感知NAS延迟预测、多目标优化、边缘部署
NAS基准测试NAS-Bench系列基准深度解析

🔬 前沿研究

文档内容概要
Transformer NAS针对Transformer架构的搜索方法
鲁棒NAS对抗鲁棒性约束下的架构搜索

核心概念速查表

搜索空间类型

类型描述代表方法
链式结构简单堆叠层WideNet
多分支结构skip连接、分支聚合DenseNet
细胞结构搜索基本细胞/块NASNet、DARTS
层次化结构多尺度连接模式HiTaS

搜索策略

策略核心思想代表算法
强化学习控制器采样架构，奖励驱动优化NASNet、ENAS
进化算法选择、变异、交叉进化架构Amheimer、NSGA-Net
贝叶斯优化高斯过程建模样本高效搜索BOHB
梯度方法连续松弛后梯度优化DARTS、PDARTS
权重共享单超网络共享权重评估子架构ENAS、One-Shot

优化目标

目标描述应用场景
准确率验证集性能精度优先
参数量模型大小边缘部署
FLOPs计算复杂度移动端
延迟实际推理时间产品部署
能耗功耗消耗嵌入式

学习路径建议

入门路线（1-2周）

1. 阅读 [[nas-fundamentals]]
   ↓
2. 学习 [[darts-differentiable-nas]]
   ↓
3. 理解权重共享机制（ENAS）

进阶路线（2-4周）

1. 掌握DARTS及其变体
   ↓
2. 学习 [[zero-cost-nas]] 免训练评估
   ↓
3. 理解 [[nas-benchmarks]] 基准测试

研究路线（持续）

1. 阅读最新顶会论文（ICLR/NeurIPS/CVPR）
   ↓
2. 关注 [[hardware-aware-nas]] 硬件协同设计
   ↓
3. 探索鲁棒NAS、Transformer NAS等前沿方向

论文推荐

必读经典

论文年份会议/期刊核心贡献
Learning Transferable Architectures for Scalable Image Recognition12018CVPRNASNet，细胞搜索结构
Efficient Neural Architecture Search via Parameters Sharing22018ICMLENAS，权重共享机制
DARTS: Differentiable Architecture Search32019ICLR可微架构搜索框架
ProxylessNAS: Direct Neural Architecture Search on Target Task and Hardware42019ICLR直接硬件搜索
Once-for-All: Train One Network and Specialize It for Efficient Deployment52020ICLR弹性网络架构

进阶阅读

论文年份会议/期刊核心贡献
NAS-Bench-101: Towards Reproducible Neural Architecture Search62019ICML首个NAS基准
NSGA-Net: Neural Architecture Search using Multi-objective Genetic Algorithm72020ICML多目标进化NAS
DrNAS: Dirichlet Neural Architecture Search82021ICLR随机性正则化
Zero-Cost NAS: A Comprehensive Survey92024IEEE TPAMI免训练NAS综述

前沿论文（2024-2026）

论文年份会议/期刊核心贡献
AZ-NAS: Automated Zero-Cost NAS102024NeurIPS组合零代价代理
ConfOpt: Gradient-based NAS Library112025ICLR梯度NAS工具库
Hardware-Efficient NAS via ESM122025DAC有效代理模型

开源工具与库

核心框架

工具语言说明
DARTSPython官方DARTS实现
once-for-allPythonMIT Han Lab弹性网络
NATSBenchPython拓扑+尺寸基准
zero-cost-nasPython免训练NAS综述代码

辅助工具

工具说明
autokerasKeras NAS框架
神经进化框架Keras Tuner
enas-tensorflowTensorFlow ENAS

相关领域链接

上游知识

并行领域

下游应用

参考文献

Footnotes

  1. Zoph B, Vasudevan V, Shlens J, Le QV. Learning Transferable Architectures for Scalable Image Recognition. CVPR 2018. ↩

  2. Pham H, Guan MY, Zoph B, Le QV, Dean J. Efficient Neural Architecture Search via Parameters Sharing. ICML 2018. ↩

  3. Liu H, Simonyan K, Yang YM. DARTS: Differentiable Architecture Search. ICLR 2019. ↩

  4. Cai H, Zhu LQ, Han S. ProxylessNAS: Direct Neural Architecture Search on Target Task and Hardware. ICLR 2019. ↩

  5. Cai H, Gan CZ, Wang TS, Maetschke A, Yan SC. Once-for-All: Train One Network and Specialize It for Efficient Deployment. ICLR 2020. ↩

  6. Ying CX, Klein A, Christiansen E, Real E, Murphy K, Hutter F. NAS-Bench-101: Towards Reproducible Neural Architecture Search. ICML 2019. ↩

  7. Lu ZY, Whlay I, Huang K, Talbott W, Mora K, You LH, Yang JY, Xiao Q. NSGA-Net: Neural Architecture Search using Multi-objective Genetic Algorithm. GECCO 2020. ↩

  8. Chen XL, Zhou MQ, Wang ZJ, Li CC. DrNAS: Dirichlet Neural Architecture Search. ICLR 2021. ↩

  9. Li J, Liu Y, Chen J, Zhao J, Wen S, Huang X, Shi C. Zero-Cost Neural Architecture Search: A Comprehensive Survey. IEEE TPAMI 2024. ↩

  10. Lee S, Ham B. AZ-NAS: Automated Zero-Cost NAS with Stochastic Combination of Proxy Metrics. NeurIPS 2024. ↩

  11. Jha D, et al. ConfOpt: Gradient-based Neural Architecture Search with Configuration. ICLR 2025. ↩

  12. Hardware-Efficient NAS via Effective Surrogate Models. DAC 2025. ↩

此文件夹下有21条笔记。