一种基于精英和自适应进化算法的神经网络结构搜索方法技术

一种基于精英和自适应进化算法的神经网络结构搜索方法，包括：S1、确定搜索空间；S2、将原始子网络的超参数编码为参数解；S3、确定个体和种群；S4、种群中基于第一评价指标和第二评价指标选择出多个精英个体并且分别存储在一个指导进化集和一个外部档案中；S5、基于进化算法使种群繁衍，将繁衍出的个体解码成优化子网络，将所有优化子网络组成过渡神经网络；S6、将测试样本输入到优化子网络中更新优化子网络的目标函数值；S7、当进化算法繁衍次数达到设置次数时终止并且输出种群；S8、将输出的种群中的个体解码为最终子网络，并且利用所有最终子网络组成为完整神经网络。本发明专利技术能够提高神经网络结构搜索过程的效率，并且实现难度低。低。低。

【技术实现步骤摘要】
一种基于精英和自适应进化算法的神经网络结构搜索方法


[0001]本专利技术涉及神经网络
，具体的说是一种基于精英和自适应进化算法的神经网络结构搜索方法。

技术介绍

[0002]近年来，随着深度学习的快速发展，神经网络在图像分类，目标检测和机器翻译等任务上取得了很好的效果。然而，现实生活中的需要处理的问题往往是很复杂的，为了应对这一情况，研究人员根据专业知识和相关数据集进行大量重复的实验来人工设计深层网络，此时网络层数不断增加，需要消耗大量的人力和计算资源。为了解决这个问题，可以缓解这种情况的神经网络结构搜索(NAS)成为了研究热点。神经网络结构搜索通常由三个部分组成：第一部分，定义一个搜索空间，即组成神经网络的基本操作，通过不同的操作产生相应的神经网络结构，这些网络结构成为后续可供搜索的集合。第二步，使用搜索策略中在神经网络集中寻找优秀的神经网络结构。第三步，根据性能评估策略，对搜索到的神经网络结构进行评估。主流的神经网络结构搜索策略主要分为两类，分别是强化学习和进化算法。强化学习是神经网络结构搜索的主流方法，其神经网络结构的生成过程可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于精英和自适应进化算法的神经网络结构搜索方法，其特征在于，包括如下步骤：S1、确定搜索空间，搜索空间包括多个结构不同的原始子网络；S2、将原始子网络的超参数编码为参数解；S3、将测试样本输入到由参数解确定的原始子网络中获得若干个目标函数值，将由参数解确定的原始子网络作为个体，目标函数值为个体的目标值，所有个体构成种群；S4、种群中基于第一评价指标和第二评价指标选择出多个精英个体并且分别存储在一个指导进化集和一个外部档案中；S5、基于进化算法使种群繁衍，将繁衍出的个体解码成优化子网络，并且按照反转世代距离指标(IGD指标)从小到大的顺序将所有优化子网络组成过渡神经网络；S6、将测试样本输入到优化子网络中更新优化子网络的目标函数值，并且将指导进化集和外部档案中的精英个体的后代加入到种群中；S7、当进化算法繁衍次数达到设置次数时终止并且输出种群，否则返回S5；S8、将输出的种群中的个体解码为最终子网络，并且利用所有最终子网络组成为完整神经网络。2.如权利要求1所述的一种基于精英和自适应进化算法的神经网络结构搜索方法，其特征在于，S5中，当外部档案中的精英个体数量到达容量上限后对外部档案进行选择更新。3.如权利要求2所述的一种基于精英和自适应进化算法的神经网络结构搜索方法，其特征在于，S5和S6中，种群每繁衍出一代后以及外部...

【专利技术属性】
技术研发人员：杨磊，祝彬杰，罗雄文，梁淑敏，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：