一种神经网络模型的构建方法、设备以及存储介质技术

本发明专利技术公开了一种实现图像的分类的神经网络模型的构建方法，包括步骤：S1，构建单元结构搜索网络、体系结构搜索网络、图像训练集以及随机编码数组；S2，利用单元结构搜索网络、体系结构搜索网络以及随机编码数组生成神经网络模型；S3，将图像训练集输入神经网络模型得到实际分类结果；S4，判断实际分类结果是否满足预设条件，若不满足，则进行步骤S5；S5，根据实际分类结果以及图像训练集的理论分类更新单元结构搜索网络以及体系结构搜索网络；S6，重复S2‑S5，直到在S4得出实际分类结果满足预设条件的判断。本发明专利技术公开的方法将原搜索空间转换为单元结构搜索和体系结构搜索两个空间，通过自动学习方式搜索体系最佳结构，增强生成的模型架构的灵活性。

【技术实现步骤摘要】
一种神经网络模型的构建方法、设备以及存储介质
本专利技术涉及图像分类领域，更具体地，特别是指一种神经网络模型的构建方法、设备以及可读存储介质。
技术介绍
神经网络模型是一种可任意堆砌的模型结构，基础的组件包括FC(全连接层)、Convolution(卷积层)、Polling(池化层)、Activation(激活函数)等，后一个组件以前一个组件的输出作为输入，不同的组件连接方式和超参配置方式在不同应用场景有不同的效果。神经架构搜索(NeuralArchitectureSearch，NAS)，目标是从一堆神经网络组件中，搜索到一个最优的神经网络模型。其中，常见的搜索方法包括随机搜索、贝叶斯优化、进化算法、强化学习、基于梯度的算法等。Zoph等人在2016年提出采用RNN去搜索一个最好的网络结构，但因搜索空间太大，耗时22,400GPU工作天数，于2017年改成采用强化学习搜索CNN的效果最好的卷积单元(convcell)，再用这些convcell来构建一个更好的网络，但是该算法在CIFAR-10和ImageNet上获得当前最佳架构仍需要2000个GPU工作天数。人们已经提出了很多加速方法，例如提出多个架构之间共享权重，以及基于连续搜索空间的梯度下降的可微架构搜索。但这些算法都采用手工设定网络体系结构的方法，导致体系架构的灵活性存在挑战。由此可见，当前神经架构搜索算存在如下问题：(1)由于组合的方式太多，所以搜索空间巨大，函数计算代价巨大；(2)手工设计模型体系结构，缺乏灵活性。
技术实现思路
有鉴于此，为了克服上述问题的至少一个方面，本专利技术实施例的提出一种用于实现图像的分类的神经网络模型的构建方法，包括以下步骤：S1，构建单元结构搜索网络、体系结构搜索网络、图像训练集以及随机编码数组；S2，利用单元结构搜索网络、体系结构搜索网络以及随机编码数组生成所述神经网络模型；S3，将所述图像训练集输入所述神经网络模型以得到实际分类结果；S4，根据图像训练集的理论分类来判断所述实际分类结果是否满足预设条件，若不满足，则进行步骤S5；S5，根据所述实际分类结果以及所述理论分类来更新所述单元结构搜索网络以及所述体系结构搜索网络；S6，重复步骤S2-S5，直到在S4得出实际分类结果满足预设条件的判断。在一些实施例中，得到满足预设条件的实际分类结果的神经网络模型为最优的神经网络模型。在一些实施例中，所述步骤S2进一步包括：S21，利用所述单元结构搜索网络和所述体系结构搜索网络对所述随机编码数组进行搜索，得到单元结构编码数组和体系结构编码数组；以及S22，利用解码器对所述单元结构编码数组和所述体系结构编码数组进行解码，得到所述神经网络模型。在一些实施例中，所述单元结构编码数组包括下降单元数组和正常单元数组。在一些实施例中，所述下降单元数组和所述正常单元数组均包括多个数据块，其中每个数据块均包括约束条件信息、深度学习操作信息和拼接操作信息。在一些实施例中，所述体系结构编码数组用于实现所述单元结构编码数组的深度学习操作信息的选择以及拼接操作信息的选择。在一些实施例中，所述步骤S4进一步包括：S41，根据所述图像训练集的理论分类计算所述实际分类结果的误差值；S42，判断所述误差值是否小于阈值，若所述误差值大于阈值，则进行步骤S5。在一些实施例中，所述步骤S5进一步包括：S41，利用所述实际分类结果和所述图像训练集的理论分类计算损失函数值；S42，利用所述损失函数值更新所述单元结构搜索网络以及所述体系结构搜索网络。基于同一专利技术构思，根据本专利技术的另一个方面，本专利技术的实施例还提供了一种计算机设备，包括：至少一个处理器；以及存储器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述程序时执行如上所述的任一种构建神经网络模型的方法的步骤。基于同一专利技术构思，根据本专利技术的另一个方面，本专利技术的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时执行如上所述的任一种构建神经网络模型的方法的步骤。本专利技术具有以下有益技术效果：本专利技术提供的实施例将原搜索空间转换为单元结构搜索和体系结构搜索两个空间，通过自动学习方式搜索体系最佳结构，增强生成的模型架构的灵活性，降低计算复杂度，实现架构的高效搜索。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。图1为本专利技术的实施例提供的单元结构示意图；图2为本专利技术的实施例提供的神经网络模型的结构示意图；图3为本专利技术的实施例提供的神经网络模型的构建方法的流程示意图；图4为本专利技术的实施例提供的单元结构搜索网络示意图；图5为本专利技术的实施例提供的单元结构编码数组解码和体系结构编码数组解码流程图；图6为本专利技术的实施例提供的计算机设备的结构示意图；图7为本专利技术的实施例提供的计算机可读存储介质的结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术实施例进一步详细说明。需要说明的是，本专利技术实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本专利技术实施例的限定，后续实施例对此不再一一说明。根据本专利技术的一个方面，提供了一种用于实现图像分类的神经网络模型的构建方法，具体实现思路为首先生成随机数组，然后将其输入到根据单元结构搜索网络以及体系结构搜索网络构成的编码器中得到编码数组(单元结构编码数组和体系结构编码数组)，接着按照解码规则将其解析为对应的实际神经网络模型。当图像训练集数据经过实际神经网络模型进行训练后，会产生对应损失函数(loss)值，最后根据损失函数(loss)值更新编码器，进而更新实际神经网络模型。在本专利技术中，首先通过单元结构编码数组得到多个cell结构，其中每一个单元结构(cell)为最终架构的基石，然后再通过体系结构将多个cell结构串联形成一个卷积网络，进而得到神经网络模型。如图1(a)所示，单元是由N个有序节点组成的有向无环图。每个节点x(i)都是一个卷积网络中的特征映射，每个有向边(i，j)是对x(i)的某种运算o(i，j)。假设每个单元有一个输入节点hi-1和一个输出节点hi+1。对于卷积单元，输入节点被定义为前一层的单元输出，节点hi为输入节点进行卷积操作后的特征映射。通过对所有未使用的中间节点在通道维度上应用拼接操作来获得单元的输出。每个中间节点都是基于所有它之前的节点进行计算的：其中γ取值为{0,1}，当r取1时，表示求和操作，当γ取0时，表示拼接操作。还包括一个特殊的零操作来指示两个节点之间没有连接。因此学习的任务减少到学习其连边的操作。令O表示一组候选操作集合(如卷积，最大池化，zero等)，而每一个操作用o(·)表示。为了完全表示搜索空间，本专利技术将所有可能操作的选择参数化，公式如下：其中，一对节点(i，j)的操作混合权重由维度|O|的矢量α(i，j)参数化。经过上面公式后，本文档来自技高网...

【技术保护点】
1.一种神经网络模型的构建方法，所述神经网络模型用于实现图像的分类，所述方法包括步骤：S1，构建单元结构搜索网络、体系结构搜索网络、图像训练集以及随机编码数组；S2，利用单元结构搜索网络、体系结构搜索网络以及随机编码数组生成所述神经网络模型；S3，将所述图像训练集输入所述神经网络模型以得到实际分类结果；S4，根据所述图像训练集的理论分类来判断所述实际分类结果是否满足预设条件，若不满足，则进行步骤S5；S5，根据所述实际分类结果以及所述理论分类来更新所述单元结构搜索网络以及所述体系结构搜索网络；S6，重复步骤S2‑S5，直到在S4得出实际分类结果满足预设条件的判断。

【技术特征摘要】
1.一种神经网络模型的构建方法，所述神经网络模型用于实现图像的分类，所述方法包括步骤：S1，构建单元结构搜索网络、体系结构搜索网络、图像训练集以及随机编码数组；S2，利用单元结构搜索网络、体系结构搜索网络以及随机编码数组生成所述神经网络模型；S3，将所述图像训练集输入所述神经网络模型以得到实际分类结果；S4，根据所述图像训练集的理论分类来判断所述实际分类结果是否满足预设条件，若不满足，则进行步骤S5；S5，根据所述实际分类结果以及所述理论分类来更新所述单元结构搜索网络以及所述体系结构搜索网络；S6，重复步骤S2-S5，直到在S4得出实际分类结果满足预设条件的判断。2.如权利要求1所述的方法，其特征在于，得出满足预设条件的实际分类结果的神经网络模型为最优的神经网络模型。3.如权利要求1所述的方法，其特征在于，所述步骤S2进一步包括：S21，利用所述单元结构搜索网络和所述体系结构搜索网络对所述随机编码数组进行搜索，得到单元结构编码数组和体系结构编码数组；以及S22，利用解码器对所述单元结构编码数组和所述体系结构编码数组进行解码，得到所述神经网络模型。4.如权利要求3所述的方法，其特征在于，所述单元结构编码数组包括下降单元数组和正常单...

【专利技术属性】
技术研发人员：刘红丽，李峰，刘宏刚，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41