一种深度渐进且逐步寻优的神经网络架构搜索方法与系统技术方案

本发明专利技术提出一种深度渐进且逐步寻优的神经网络架构搜索方法与系统，包括：步骤1、构建包含和不包含下采样操作的第一搜索单元和第二搜索单元，堆叠第一搜索单元和第二搜索单元，形成超网；步骤2、通过梯度下降法搜索得到超网的有向无环图中每个边的每个操作的权重系数，每条边通过选择边对应操作中权重系数最大的操作，得到每条边最终搜得的操作结果，以操作结果分别更新第一搜索单元和第二搜索单元，得到第一更新单元和第二更新单元，堆叠第一更新单元和第二更新单元，得到单模型；步骤3、判断单模型深度是否小于目标模型深度，若是，将预设递增数量的第一搜索单元堆叠至单模型，形成超网，再次执行步骤2，否则将单模型作为神经网络搜索结果。为神经网络搜索结果。为神经网络搜索结果。

【技术实现步骤摘要】
一种深度渐进且逐步寻优的神经网络架构搜索方法与系统


[0001]本专利技术涉及自动化机器学习中神经网络架构搜索领域，尤其涉及一种神经网络深度渐进搜索并逐步寻优的方法与装置。

技术介绍

[0002]自动化机器学习(Automated Machine Learning，简称Auto-ML)是模型选择、特征抽取和超参数调优的一系列自动化方法，可以实现自动训练有价值的模型。从机器学习角度讲，Auto-ML可以看作是一个在给定数据和任务上学习和泛化能力非常强大的系统。但是它强调必须非常容易使用。从自动化角度讲，Auto-ML则可以看作是设计一系列高级的控制系统去操作机器学习模型，使得模型可以自动化地学习到合适的参数和配置而无需人工干预。即使是对经验丰富的机器学习从业者而言，这一自动化过程也可以加快速度。Auto-ML的主要问题可以由三部分构成：特征工程、模型选择、算法选择。
[0003]神经网络架构搜索(Neural Architecture Search，简称NAS)主要是面向自动化机器学习中的模型选择类问题。神经网络架构搜索通常涉及学习像层(本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度渐进且逐步寻优的神经网络架构搜索方法，其特征在于，包括：步骤1、构建包含下采样操作的第一搜索单元和不包含下采样操作的第二搜索单元，通过堆叠该第一搜索单元和该第二搜索单元，形成供搜索的超网；步骤2、通过梯度下降法搜索得到该超网的有向无环图中每个边的每个操作的权重系数，每条边通过选择该边对应操作中权重系数最大的操作，得到每条边最终搜得的操作结果，以该操作结果分别更新该第一搜索单元和该第二搜索单元，得到第一更新单元和第二更新单元，堆叠该第一更新单元和该第二更新单元，得到单模型；步骤3、判断该单模型深度是否小于目标模型深度，若是，则将预设递增数量的该第一搜索单元堆叠至该单模型，形成供搜索的超网，再次执行该步骤2，否则保存当前单模型作为神经网络搜索结果。2.如权利要求1所述的深度渐进且逐步寻优的神经网络架构搜索方法，其特征在于，该第一搜索单元和该第二搜索单元均为同一结构的有向无环图。3.如权利要求1所述的深度渐进且逐步寻优的神经网络架构搜索方法，其特征在于，该有向无环图包括多个节点，每个节点表示一张特征图，节点间的连接边为由多个待搜索操作构成的混合操作，每条边上的箭头表征信息流向，每条边中的混合操作都带有各自的权重系数α，边的输出特征图即为输入特征图经过操作集合后的加权求和，如下公式所示：其中，x表示输入节点特征图，O表示候选操作集合，o表示候选操作集合中的某种操作，为输出节点特征图。输入节点、中间节点和输出节点。4.如权利要求1所述的深度渐进且逐步寻优的神经网络架构搜索方法，其特征在于，根据硬件限制，设置该预设递增数量。5.如权利要求3所述的深度渐进且逐步寻优的神经网络架构搜索系统，其特征在于，该多个节点包括输入节点、中间节点和输出节点。6.一种深度渐进且逐...

【专利技术属性】
技术研发人员：陆顺，胡瑜，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：