随着深度神经网络的不断发展，人们逐渐认识到开发新的神经网络结构越来越耗时耗力。在这种背景下，2017年Google推出了AutoML，这是一种可以让机器自主设计深度神经网络的系统。

AutoML的出现推动了自动化深度学习（AutoDL）的发展。AutoDL的目标是通过自动化手段简化机器学习的过程，使得即使是对机器学习不太了解的人也能轻松地将机器学习应用于实际问题。

如图1所示，传统深度学习方法和AutoDL的主要区别在于，AutoDL通过自动化优化超参数，使机器能够自动设计网络结构并进行调参优化。

神经架构搜索（NAS）

神经架构搜索（NAS）是一种自动设计性能良好的神经网络结构的技术。NAS主要解决的问题是在搜索空间中找到适合特定任务的网络结构。NAS由搜索空间、优化方法和评估方法三部分组成。

搜索空间定义了可能的神经网络结构，优化方法决定了如何搜索这些结构，评估方法则用来衡量每个结构的性能。实践中，通常会根据特定数据集生成特定的“子网络”，并通过训练和验证集的准确性来评估这些子网络。

搜索空间

搜索空间是指可供搜索的一组神经网络结构。它包括网络的结构（如深度和宽度）和配置（如链接类型、核大小和滤波器数量）。一个好的搜索空间能够产生好的搜索结果。

传统的搜索空间主要是链式结构，但近年来，多分支结构的重要性逐渐增加。一些基于ResNet和DenseNet提出的跳跃连接和密集连接也被纳入搜索空间中。

另一种趋势是设计只包含一个基本单元（cell）的搜索空间，该单元可以用作整个网络中的block。这种搜索空间被称为微观搜索空间，可以显著降低搜索成本和复杂度。

搜索算法

搜索算法是一个迭代过程，用于确定如何搜索搜索空间。主流的NAS搜索策略主要包括强化学习、进化算法和可微分梯度下降算法。

强化学习

强化学习通过智能体（Agent）与环境的交互，逐步优化网络结构。具体而言，强化学习将架构生成视为智能体选择动作的过程，通过在测试集上测试网络功能来获取奖励，从而指导架构的生成。

进化算法

进化算法通过模拟自然选择的过程来优化网络结构。在每个进化步骤中，子模型被视作个体，模型在验证集上的表现作为质量标准。进化算法包括选择、繁衍和适应度计算等步骤。

可微分架构搜索

可微分架构搜索方法中，卡内基梅隆大学提出的DARTS（Differentiable Architecture Search）是较为知名的一种。DARTS通过将结构表示松弛化，允许使用梯度下降来优化架构搜索，从而大大提高了搜索效率。

加速方案

NAS的加速方案主要包括改进代理模型和权值共享。

改进代理模型

改进代理模型通过引入校正函数来减少代理模型带来的误差。具体方法包括根据学习曲线预测精度、使用回归模型预测部分训练模型的最终性能等。

权值共享

权值共享可以在搜索和训练过程中显著提高效率。例如，在进化过程中，子网络可以继承父网络的权重，从而避免从头开始训练每个子网络。另一种方法是使用one-shot模型，通过共享权重来加速训练过程。

快速实现神经网络架构搜索

利用开源的自动机器学习工具，如微软的NNI和亚马逊的AutoGluon，可以快速实现常见的NAS算法。以AutoGluon为例，只需几步即可完成ENAS的训练过程。

总结

传统的人工智能依赖于人为设定的规则，而自动化深度学习（AutoDL）通过自动化手段简化了机器学习的过程，使得机器能够自主设计网络结构并进行优化。这不仅降低了机器学习的门槛，也为下一代人工智能的发展奠定了基础。