一种基于进化的神经架构搜索方法技术

本发明专利技术提供一种基于进化的神经架构搜索方法，首先定义神经网络架构的搜索空间并进行编码，其次根据训练实例和实例对应的标签构建训练数据集，构建列表排序预测器，利用构建的训练数据集进行训练，最后利用进化算法搜索最佳架构。本发明专利技术使用列表排序预测器来对架构的性能进行评估，用列表排序模型代替线性回归来构建性能预测器。预测器是预测每个候选体系结构在总体中的顺序，而不是预测体系结构的精确精度值。根据排名信息，可以快速识别出优秀的架构，并选择进入下一轮，并且本发明专利技术中的排序预测器不需要大量原始的训练有素的架构样本，这大大降低了计算成本。这大大降低了计算成本。

【技术实现步骤摘要】
一种基于进化的神经架构搜索方法


[0001]本专利技术涉及深度神经网络
，具体设计一种基于进化的神经架构搜索方法。

技术介绍

[0002]深度学习在很多领域都取得了巨大的突破和进展。这是由于深度学习具有强大的自动化特征提取的能力。人工智能技术应用于各个领域已经屡见不鲜，各种人工智能技术(例SVM、决策树等)在医疗图像分割、深度图像分类等方面已经超越了医疗专家，尤其以深度卷积神经网络技术为代表的深度学习技术在医疗图像领域已经开始展露锋芒。而网络结构的设计对数据特征的表征和最终模型的表现起到了至关重要的作用。为了获取数据的更好的特征表示，研究人员设计多种多样的复杂的网络架构，而网络结构的设计是严重依赖于研究人员的先验知识和经验。这样会导致一个问题：当新的分类任务到来时，原本设计出来的架构可能在新的任务上表现不佳，需要重新设计，使得过程耗时耗力。同时网络结构的设计也很难跳出原有思考模式并设计出一个最优的网络。新人很难根据自己的实际任务和需求对网络结构进行合理的修改。且调参对于深度模型来说是一项非常艰难的事情，众多的超参数和网络结构参数会产生爆炸本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于进化的神经架构搜索方法，其特征在于，包括：步骤1：定义神经网络架构的搜索空间并进行编码；步骤2：根据训练实例和实例对应的标签构建训练数据集；步骤3：构建列表排序预测器，利用构建的训练数据集进行训练；步骤4：利用进化算法搜索最佳架构。2.根据权利要求1所述的一种基于进化的神经架构搜索方法，其特征在于，所述步骤1中搜索空间的网络的输入为图像分辨率R和宽度乘数W，宽度乘数W是一个统一缩放每层输出通道的因子；搜索空间的网络结构采用模块化设计，包括主干、多个阶段和尾部；主干和尾部是对所有的网络结构通用的，在之后的网络架构搜索阶段是不需要搜索的，多个阶段是将卷积神经网络CNN的结构划分为5个顺序连接的阶段，每一个阶段逐渐减小特征图的大小，增加通道的数量；每个阶段依次由多层组成，在阶段中需要搜索层数，每一层由一个倒转的残差网络结构组成。3.根据权利要求1所述的一种基于进化的神经架构搜索方法，其特征在于，所述步骤1中编码是指使用长度为22的整数字符串对网络的架构进行编码，前两个值分别表示输入图像的分辨率R和宽度乘数W，其余20个值表示20层中每个层L
i
的扩展比E和内核大小K设置，L
i
若为跳过skip则扩展比为0。4.根据权利要求1所述的一种基于进化的神经架构搜索方法，其特征在于，所述步骤2包括：步骤2.1：构建训练实例；步骤2.2：构建训练实例的标签；步骤2.3：将训练实例和训练实例对应的标签作为一个样本，形成训练数据集。5.根据权利要求4所述的一种基于进化的神经架构搜索方法，其特征在于，所述步骤2.1包括：步骤2.1.1：从原始架构中获得N个架构的编码集合V：{v1,v2,
…
,v
N
}；步骤2.1.2：构建训练实例集X，首先将训练实例集初始化为一个空集，之后将构建好的每个实例添加到这个集合中；步骤2.1.3：集合X中具有M组实例，每一组中包含k个需要排序的架构，这k个需要排序的架构数小于架构总数N，那么将会得到组实例，且步骤2.1.4：对于每m组中的实例都将初始化为一个k
×
|v
i
|的矩阵，v
i
表示第i个架构的编码，|v
i
|表示第i个架构编码的长度，m＝1,2,
…
,M。6.根据权利要求4所述的一种基于进化的神经架构搜索方法，其特征在于，所述步骤2.2包括：步骤2.2.1：计算每个架构的分数值Score；步骤2.2.2：根据分数值Score进行排序形成顺序序列Order
m
，作为实例x
m
的标签。7.根据权利要求6所述的一种基于进化的神经架构搜索方法，其特征在于，所述步骤2.2.1包括：步骤2.2.1.1：计算不同架构c
i
与c
j
之间的Hammi...

【专利技术属性】
技术研发人员：马连博，安晓洁，李楠，
申请(专利权)人：东北大学，
类型：发明
国别省市：