基于进化神经网络架构搜索的目标检测模型构建方法技术

本发明专利技术涉及一种基于进化神经网络架构搜索的目标检测模型构建方法，包括如下步骤：步骤S1，给定带有标签的目标检测数据集，将该目标检测数据集划分为训练数据集、验证数据集以及测试数据集，并将训练数据集以一定的比例划分为三个子训练数据集；步骤S2，定义超网络作为搜索空间和编码方案；步骤S3，构建多目标进化神经网络架构搜索算法；步骤S4，使用多目标进化神经网络架构搜索算法输出的最优整数序列激活超网络中对应的节点连接，解码为对应的主干网络结构并合入RetinaNet网络架构从而组成一个完整的目标检测模型；使用训练数据集并利用SGD优化器训练目标检测模型直至收敛；模型训练完成后，使用测试数据集测试模型的性能。能。能。

【技术实现步骤摘要】
基于进化神经网络架构搜索的目标检测模型构建方法


[0001]本专利技术属于目标检测模型设计与优化
，特别涉及一种基于进化神经网络架构搜索的目标检测模型构建方法。

技术介绍

[0002]目标检测技术现在已经广泛的应用于生活的方方面面，比如智能监控系统、自动驾驶系统和工业检测系统等各个领域。基于深度学习的目标检测技术的核心是目标检测神经网络架构的设计。传统的手工设计的方法需要严重依赖于人类专家知识及相应的数据集的数据分布，精心设计和调优才能获得较好的性能。但是，这种方法需要耗费大量的人力物力，不利于大规模推广。特别是，当数据集存在在线更新或者由于光照湿度等自然条件变更所导致的数据分布发生变化，往往会导致旧的模型失效，模型需要重新设计或者调优。在一个目标检测模型中，主干网络的任务是提取图像特征，其特征提取能力和网络参数量对于目标检测模型的性能和部署有着十分重要的影响。性能优秀的主干网络可以从数据中提取到更加有效的特征，从而有利于提升目标检测模型的检测能力和分类能力。
[0003]近年来，自动机器学习技术(AutomatedMachineLearning,AutoML)技术迅猛发展，为自动化模型部署提供了可能性。其中，神经网络架构搜索作为AutoML的子领域，其可以自动设计神经网络架构的特质引起的研究人员的广泛关注。然而，基于NAS的目标检测模型设计算法仍然具有尚待解决的问题，其计算瓶颈在主干网络架构的预训练权值获取和大量的候选网络架构评估过程。

技术实现思路

[0004]本专利技术是为了解决上述问题而进行的，目的在于提供一种一种基于进化神经网络架构搜索的目标检测模型构建方法。一方面，本专利技术首先定义了一个超网络作为搜索空间；之后利用多层感知机(Multi
‑
layerPerceptron)模型作为代理模型，即性能预测器；通过一定数量的神经网络模型对MLP代理模型训练至收敛，作为一个性能预测器；之后，候选神经网络模型无需任何训练即可直接通过性能预测器获得其适应度值，避免了耗时耗力的模型训练过程，提高了算法的搜索效率。另一方面，本专利技术使用多目标进化算法作为搜索算法，以模型的精度和模型的大小为优化目标，针对不同的部署场景设计不同的定制化模型，兼顾模型的大小和模型性能的平衡。
[0005]本专利技术为了实现上述目的，采用了以下方案：
[0006]本专利技术提供一种基于进化神经网络架构搜索的目标检测模型构建方法，具有这样的特征，包括如下步骤：
[0007]步骤S1，给定带有标签的目标检测数据集，将该目标检测数据集划分为训练数据集D
train
、验证数据集D
val
以及测试数据集D
test
，并将训练数据集D
train
以一定的比例划分为三个子训练数据集D
train1
、D
train2
、D
train3
；
[0008]步骤S2，定义超网络作为搜索空间和编码方案，具体为：
[0009]步骤S2
‑
1，定义超网络作为搜索空间，搜索空间由normalcell和reductioncell组成，normalcell和reductioncell具有相同数量的计算节点，但内部节点的连接方式不同；normalcell中所有节点的步长为1，reductioncell中所有节点的步长为2；每个计算节点均可以选择任意前序节点相连，作为当前节点的输入；每个计算节点为二叉树结构，包含两个输入和一个输出，两个输入得到的特征图通过相加操作后输出；normalcell和reductioncell各包含两个输入节点，用于接收当前cell的输入；
[0010]步骤S2
‑
2，对步骤S2
‑
1的计算节点进行编码；
[0011]步骤S3，构建多目标进化神经网络架构搜索算法，具体为：
[0012]步骤S3
‑
1，将normalcell和reductioncell依次相连，组成完整的神经网络；
[0013]步骤S3
‑
2，使用ImageNet数据集对超网络进行预训练，直至收敛，保留超网络的网络模型权值；
[0014]步骤S3
‑
3，将验证集D
val
的MAP值作为候选目标检测模型的评估指标；
[0015]步骤S3
‑
4，将超网络作为主干网络架构合入RetinaNet目标检测框架从而组成完整的目标检测模型，利用子训练数据集D
tain1
进一步训练至收敛；
[0016]步骤S3
‑
5，随机生成M个整数基因序列，M为一个大于0的整数；每一个整数基因序列为一个目标检测模型的主干网络架构，FPN结构和RetinaNetHead结构固定不变；通过权值共享技术评估每个整数基因序列的适应度值；
[0017]步骤S3
‑
6，将M个整数基因序列及其相应的适应度值整理为数据对，使用该数据对作为输入对MLP模型进行训练，将训练好的MLP模型作为性能预测器；
[0018]步骤S3
‑
7，多目标进化算法初始化，初始化种群规模M、交叉概率Pc、变异概率Pm、最大进化代数G，以每个个体基于验证集D
val
的loss值和模型的大小为优化目标；
[0019]步骤S3
‑
8，随机初始化种群P，即随机生成N个整数基因序列，N为一个大于0的整数；
[0020]步骤S3
‑
9，将种群P中的个体解码为对应的主干网络架构并合入RetinaNet框架，从而成为目标检测模型；
[0021]步骤S3
‑
10，利用性能预测器对每个个体进行适应度值的评估，适应度值为每个个体基于验证集D
val
的loss值；
[0022]步骤S3
‑
11，基于当前种群P，利用锦标赛选择法选出两个个体作为父代个体；
[0023]步骤S3
‑
12，根据交叉率P
c
并利用单点交叉方法对两个父代个体的序列中执行交叉操作得到两个子代个体；
[0024]步骤S3
‑
13，根据变异率Pm对子代种群中的个体序列中的某一计算模块进行替换或者删除；
[0025]步骤S3
‑
14，重复步骤S3
‑
11和S3
‑
12，直到子代个体数量达到N个，组成子代种群Q；
[0026]步骤S3
‑
15，用性能预测器对子代种群中的每个个体进行适应度值的评估，适应度值为每个个体基于验证集D
val
的loss值；
[0027]步骤S3
‑
16，将当前种群P和子代种群Q合并成包含2N个个体的种群作为中间种群，利用环本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于进化神经网络架构搜索的目标检测模型构建方法，其特征在于，包括如下步骤：步骤S1，给定带有标签的目标检测数据集，将该目标检测数据集划分为训练数据集D
train
、验证数据集D
val
以及测试数据集D
test
，并将训练数据集D
train
以一定的比例划分为三个子训练数据集D
train1
、D
train2
、D
train3
；步骤S2，定义超网络作为搜索空间和编码方案，具体为：步骤S2
‑
1，定义超网络作为搜索空间，所述搜索空间由normal cell和reduction cell组成，normal cell和reduction cell具有相同数量的计算节点，但内部节点的连接方式不同；normal cell中所有节点的步长为1，reduction cell中所有节点的步长为2；每个计算节点均可以选择任意前序节点相连，作为当前节点的输入；每个计算节点为二叉树结构，包含两个输入和一个输出，两个输入得到的特征图通过相加操作后输出；normal cell和reduction cell各包含两个输入节点，用于接收当前cell的输入；步骤S2
‑
2，对步骤S2
‑
1所述的计算节点进行编码；步骤S3，构建多目标进化神经网络架构搜索算法，具体为：步骤S3
‑
1，将normal cell和reduction cell依次相连，组成完整的神经网络；步骤S3
‑
2，使用ImageNet数据集对所述超网络进行预训练，直至收敛，保留超网络的网络模型权值；步骤S3
‑
3，将验证集D
val
的MAP值作为候选目标检测模型的评估指标；步骤S3
‑
4，将超网络作为主干网络架构合入RetinaNet目标检测框架从而组成完整的目标检测模型，利用子训练数据集D
train1
进一步训练至收敛；步骤S3
‑
5，随机生成M个整数基因序列，M为一个大于0的整数；每一个整数基因序列为一个目标检测模型的主干网络架构，FPN结构和RetinaNet Head结构固定不变；通过权值共享技术评估每个整数基因序列的适应度值；步骤S3
...

【专利技术属性】
技术研发人员：张浩宇，
申请(专利权)人：上海悠络客电子科技股份有限公司，
类型：发明
国别省市：