神经网络架构搜索方法、神经网络应用方法、设备及存储介质技术

本申请属于深度学习技术领域，具体涉及一种神经网络架构搜索方法、神经网络应用方法、设备及存储介质。其中的方法包括：通过强化学习架构搜索方法搜索到第一神经网络模型，对所述第一神经网络模型，基于预设的跳跃连接数量，进行网络结构搜索，得到第二神经网络模型；基于预先建立的评估网络的参数对所述第二神经网络模型的结构进行设置，在测试数据集上进行训练，获取训练后的神经网络模型。本申请方法中的神经网络架构搜索速度更快，有效解决了网络架构搜索资源消耗太多的问题。通过训练得到的神经网络模型对目标图像进行处理，可执行多种图像处理任务，图像处理时识别精度更高。

【技术实现步骤摘要】
神经网络架构搜索方法、神经网络应用方法、设备及存储介质
本申请属于深度学习
，具体涉及一种神经网络架构搜索方法、神经网络应用方法、设备及存储介质。
技术介绍
深度学习极大地推动了计算机视觉的研究进展。深度学习的核心部分是设计和优化深度神经网络，一些流行的模型已经被人为设计，取得了当时的最佳艺术表现。然而，设计神经网络架构需要专业知识和大量的计算资源。神经网络架构搜索（NAS）的出现改变了这种情况，其目标是自动发现强大的网络结构，并在图像识别方面取得了显著的成功。在NAS的早期，研究人员关注于启发式搜索方法，它从一个大的搜索空间抽取架构样本，并执行单独的评估。这样的方法虽然能找到保证找到更优的架构，但是需要消耗太多的资源。大多数搜索方法都存在不稳定的问题，这是由于准确性对随机初始化很敏感，以及搜索架构有时会在其他数据集或任务中产生不满意的性能。除此之外，网络架构搜索算法仅仅局限于搜索图像分类任务，而在实际应用场景中，目标检测，语义分割，行人重识别等任务更加常用。
技术实现思路
鉴于现有技术的上述缺点、不足，本申请提供一种神经网络架构搜索方法、神经网络应用方法、设备及存储介质。为达到上述目的，本申请采用如下技术方案：第一方面，本申请实施例提供一种神经网络架构搜索方法，该方法包括：S11、定义搜索空间，所述搜索空间包括预设数量的节点及每两个节点之间的多种候选操作，将所述搜索空间作为待搜索网络单元；S12、将M个所述待搜索网络单元，按照预定义的方式堆叠得到待搜索的神经网络，其中，M的初始取值范围为[4,6]；S13、将待搜索的神经网络中每个候选操作的权重作为待优化的参数，采用强化学习搜索策略和操作级失活对所述待搜索的神经网络进行网络架构搜索，用强化学习代理生成权重参数，将权重低的候选操作删除，得到搜索后的神经网络和搜索后的网络单元；S14、增大M的取值，将搜索后的网络单元作为待搜索网络单元；S15、迭代执行步骤S12-步骤S14，直至迭代次数达到预设值，获取搜索后得到的神经网络模型，作为第一神经网络模型；S16、对所述第一神经网络模型，基于预设的跳跃连接数量，进行网络结构搜索，得到第二神经网络模型；S17、基于预先建立的评估网络的参数对所述第二神经网络模型的结构进行设置，在测试数据集上进行训练，获取训练后的神经网络模型；S18、采用步骤S11-S17所述的神经网络架构搜索方法进行神经网络架构搜索，获取目标神经网络模型；S19、基于所述目标神经网络模型对目标图像进行处理，获取处理结果；所述对目标图像进行处理包括目标检测、行人重识别、图像分类中的一种或多种。可选地，所述多种候选操作包括输出0操作、平均池化操作、最大池化操作、跳跃连接操作、深度可分离卷积操作、空洞卷积操作、全连接操作的任意组合。可选地，网络架构搜索所使用的目标优化函数为：其中，是神经网络在验证集上的损失函数，是神经网络在训练集上的损失函数，α是候选操作的权重，W为神经网络权重，W*为最优的神经网络权重参数。可选地，用强化学习代理生成权重参数，包括：将搜索后的神经网络的精度作为奖励反馈给强化学习代理训练，强化学习控制器学习到策略；对强化学习控制器学习到的策略采样，将采样的结果作为权重参数。可选地，S16中预设的跳跃连接数量为3。第二方面，本申请提出一种神经网络应用方法，该方法包括：S18、采用上述任一项所述的神经网络架构搜索方法进行神经网络架构搜索，获取目标神经网络模型；S19、基于所述目标神经网络模型对目标图像进行处理，获取处理结果；所述对目标图像进行处理包括目标检测，行人重识别，图像分类中的一种或多种。可选地，当S19中对目标图像进行的处理为目标检测时，基于所述目标神经网络模型对目标图像进行处理,包括：S191、将通过神经网络架构搜索获取的目标神经网络模型插入到单次目标探测器中作为主干网络，得到目标检测网络；其中，所述目标神经网络的权重是在数据集ImageNet上训练得到的；S192、通过所述目标检测网络对目标图像进行目标检测，获取目标检测结果。可选地，当S19中对目标图像进行的处理为行人重识别时，基于所述目标神经网络模型对目标图像进行处理,包括：S191’、将通过神经网络架构搜索获取的目标神经网络模型插入到单次目标探测器中作为主干网络，得到目标检测网络；其中，所述目标神经网络的权重是在数据集cifar10和imagenet上训练得到的；S192’、用基于局部的卷积流程，通过所述行人重识别网络使对目标图像进行识别，获取行人重识别结果。第三方面，本申请提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。第四方面，本申请实施例提供一种计算机存储介质，所述计算机存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述任一项所述方法的步骤。本申请的有益效果：本申请提出了一种神经网络架构搜索方法、神经网络应用方法、设备及存储介质，通过强化学习架构搜索方法搜索到第一神经网络模型，基于预设的跳跃连接数量对第一神经网络模型进行网络结构搜索，得到第二神经网络模型；基于预先建立的评估网络的参数对第二神经网络模型的结构进行设置，在测试数据集上进行训练，获取训练后的神经网络模型。本申请方法中的神经网络架构搜索速度更快，有效解决了网络架构搜索资源消耗太多的问题。通过多层次的神经网络架构搜索方法获取的目标神经网络模型，可执行多种图像处理任务，基于目标神经网络模型对目标图像进行处理，获取处理结果，识别精度更高。附图说明本申请借助于以下附图进行描述：图1为本申请一个实施例中神经网络架构搜索方法流程示意图；图2为本申请另一个实施例可以应用于其中的示例性系统架构图；图3为本申请再一个实施例中的基于神经网络的图像处理方法流程示意图；图4为本申请再一个实施例中单元内部结构示意图；图5为本申请再一个实施例中的搜索网络示意图。具体实施方式为了更好的解释本专利技术，以便于理解，下面结合附图，通过具体实施方式，对本专利技术作详细描述。可以理解的是，以下所描述的具体的实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合；为了便于描述，附图中仅示出了与专利技术相关的部分。下面将参考附图并结合实施例来详细说明本申请。实施例一图1示出了本申请一个实施例中的神经网络架构搜索方法流程示意图。如图所示，本实施例的神经网络架构搜索方法，包括：S11、定义搜索空间，搜索空间包括预设数量的节点及每两个节点之间的多种候选操作，将搜索空间作为待搜索网络单元；S12、将M本文档来自技高网...

【技术保护点】
1.神经网络架构搜索方法，其特征在于，该方法包括：/nS11、定义搜索空间，所述搜索空间包括预设数量的节点及每两个节点之间的多种候选操作，将所述搜索空间作为待搜索网络单元；/nS12、将M个所述待搜索网络单元，按照预定义的方式堆叠得到待搜索的神经网络，其中，M的初始取值范围为[4,6]；/nS13、将待搜索的神经网络中每个候选操作的权重作为待优化的参数，使用强化学习搜索策略和操作级失活对所述待搜索的神经网络进行网络架构搜索，用强化学习代理生成权重参数，将权重低的候选操作删除，得到搜索后的神经网络和搜索后的网络单元；/nS14、增大M的取值，将搜索后的网络单元作为待搜索网络单元；/nS15、迭代执行步骤S12-步骤S14，直至迭代次数达到预设值，获取搜索后得到的神经网络模型，作为第一神经网络模型；/nS16、对所述第一神经网络模型，基于预设的跳跃连接数量，进行网络结构搜索，得到第二神经网络模型；/nS17、基于预先建立的评估网络的参数对所述第二神经网络模型的结构进行设置，在测试数据集上进行训练，获取训练后的神经网络模型；/nS18、采用步骤S11-S17所述的神经网络架构搜索方法进行神经网络架构搜索，获取目标神经网络模型；/nS19、基于所述目标神经网络模型对目标图像进行处理，获取处理结果；所述对目标图像进行处理包括目标检测、行人重识别、图像分类中的一种或多种。/n...

【技术特征摘要】
1.神经网络架构搜索方法，其特征在于，该方法包括：
S11、定义搜索空间，所述搜索空间包括预设数量的节点及每两个节点之间的多种候选操作，将所述搜索空间作为待搜索网络单元；
S12、将M个所述待搜索网络单元，按照预定义的方式堆叠得到待搜索的神经网络，其中，M的初始取值范围为[4,6]；
S13、将待搜索的神经网络中每个候选操作的权重作为待优化的参数，使用强化学习搜索策略和操作级失活对所述待搜索的神经网络进行网络架构搜索，用强化学习代理生成权重参数，将权重低的候选操作删除，得到搜索后的神经网络和搜索后的网络单元；
S14、增大M的取值，将搜索后的网络单元作为待搜索网络单元；
S15、迭代执行步骤S12-步骤S14，直至迭代次数达到预设值，获取搜索后得到的神经网络模型，作为第一神经网络模型；
S16、对所述第一神经网络模型，基于预设的跳跃连接数量，进行网络结构搜索，得到第二神经网络模型；
S17、基于预先建立的评估网络的参数对所述第二神经网络模型的结构进行设置，在测试数据集上进行训练，获取训练后的神经网络模型；
S18、采用步骤S11-S17所述的神经网络架构搜索方法进行神经网络架构搜索，获取目标神经网络模型；
S19、基于所述目标神经网络模型对目标图像进行处理，获取处理结果；所述对目标图像进行处理包括目标检测、行人重识别、图像分类中的一种或多种。


2.根据权利要求1所述的神经网络架构搜索方法，其特征在于，所述多种候选操作包括输出0操作、平均池化操作、最大池化操作、跳跃连接操作、深度可分离卷积操作、空洞卷积操作、全连接操作的任意组合。


3.根据权利要求1所述的神经网络架构搜索方法，其特征在于，网络架构搜索所使用的目标优化函数为：



其中，是神经网络在验证集上的损失函数，是神经网络在训练集上的
损失函数，α是候选操作的权重，W为神经网络权重，W*为最优的神经网络权重参数。

【专利技术属性】
技术研发人员：张宏达，郑斌，王正国，孙钢，王舒颦，林森，陈思浩，毛燕萍，何韵，蒋群，张艺凡，
申请(专利权)人：国网浙江省电力有限公司，国网浙江省电力有限公司营销服务中心，
类型：发明
国别省市：浙江;33