神经网络模型建立方法、装置及计算机可读存储介质制造方法及图纸

本发明专利技术提供一种神经网络模型建立方法、装置及计算机可读存储介质，方法包括：在数据输入层的下一层设置特征提取层，所述特征提取层用于对输入的待识别图像进行特征提取；将一个1*h的卷积核与一个h*1的卷积核相结合作为膨胀层的核心部分，其中，h为正奇数，将所述膨胀层与压榨层串联作为Fire块；建立各相邻Fire块之间的关联关系，获得调整后的待训练模型；通过预设的待训练数据对所述待训练模型进行训练，获得训练后的神经网络模型。该神经网络模型能够在保证识别精度的基础上，降低模型的内存大小，因此其能够方便自由存储嵌入存储介质中。

【技术实现步骤摘要】
神经网络模型建立方法、装置及计算机可读存储介质
本专利技术涉及数据处理领域，尤其涉及一种神经网络模型建立方法、装置及计算机可读存储介质。
技术介绍
随着大数据时代的到来以及计算机硬件的不断更新迭代，图像识别的算法得到突飞猛进的发展。图像识别广泛应用到手写汉字识别、人脸识别、指纹识别、人工机器人等领域。图像识别有很多算法，主要包括传统的机器学习算法和深度学习。深度学习也叫做深层卷积神经网络学习，除了人工修正训练文件的一些配置参数外，网络中的所有参数都是通过训练数据并从数据中学习所得。而且卷积神经网络由于自身拥有局部感知域、权值共享、池化防过拟合等优点，所以在训练过程中能提取图像的深层抽象特征进行学习，并且整个训练过程无需人为干涉，最终的训练模型除了鲁棒性很强外，识别精度非常高。因此，目前人工智能企业都专注于将深度学习训练的网络模型应用到图像识别领域。常见的卷积神经网络模型有ResNet网络，其实目前公认识别精度最高的卷积神经网络。此外，SqueezeNet网络也是一种常见的卷积神经网络模型，其实目前公认的轻量级卷积神经网络，其在具有较小的内存的基础上，还能够达到较高的识别精度。但是，上述两种卷积神经网络模型均具有不同的缺点，ResNet网络虽然识别精度很高，但其具有较大的内存，因此模型不能自由存储到FPGA中或嵌入式部署到集成芯片里，以实际应用举例来说，ResNet网络内存大小一般为500MB，但是FPGA只能够具有10MB的内存，因此无法将ResNet网络存储至FPGA中，而且当从云端更新到客户端时需要较大的数据传输量。SqueezeNet网络虽然内存较小，但是精确度低于ResNet网络，因此，如何在实现高识别精度的基础上，降低卷积神经网络的内存以便于存储嵌入即成为了亟待解决的技术问题。
技术实现思路
本专利技术提供一种神经网络模型建立方法、装置及计算机可读存储介质，用于解决现有的卷积神经网络模型无法兼顾识别精度与模型内存的技术问题。本专利技术的第一个方面是提供一种神经网络模型建立方法，包括：在数据输入层的下一层设置特征提取层，所述特征提取层用于对输入的待识别图像进行特征提取；将一个1*h的卷积核与一个h*1的卷积核相结合作为膨胀层的核心部分，其中，h为正奇数，将所述膨胀层与压榨层串联作为Fire块；建立各相邻Fire块之间的关联关系，获得调整后的待训练模型；通过预设的待训练数据对所述待训练模型进行训练，获得训练后的神经网络模型。本专利技术的另一个方面是提供一种神经网络模型建立装置，包括：特征提取层建立模块，用于在数据输入层的下一层设置特征提取层，所述特征提取层用于对输入的待识别图像进行特征提取；膨胀层建立模块，用于将一个1*h的卷积核与一个h*1的卷积核相结合作为膨胀层的核心部分，其中，h为正奇数，将所述膨胀层与压榨层串联作为Fire块；关联关系建立模块，用于建立各相邻Fire块之间的关联关系，获得调整后的待训练模型；训练模块，用于通过预设的待训练数据对所述待训练模型进行训练，获得训练后的神经网络模型。本专利技术的又一个方面是提供一种神经网络模型建立装置，包括：存储器，处理器；存储器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为由所述处理器执行如上述的神经网络模型建立方法。本专利技术的又一个方面是提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上述的神经网络模型建立方法。本专利技术提供的神经网络模型建立方法、装置及计算机可读存储介质，通过在数据输入层的下一层设置特征提取层，所述特征提取层用于对输入的待识别图像进行特征提取；将一个1*h的卷积核与一个h*1的卷积核相结合作为膨胀层的核心部分，其中，h为正奇数，将所述膨胀层与压榨层串联作为Fire块；建立各相邻Fire块之间的关联关系，获得调整后的待训练模型；通过预设的待训练数据对所述待训练模型进行训练，获得训练后的神经网络模型。该神经网络模型能够在保证识别精度的基础上，降低模型的内存大小，因此其能够方便自由存储嵌入存储介质中。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。图1为本专利技术实施例一提供的神经网络模型建立方法的流程示意图；图2为本专利技术实施例二提供的神经网络模型建立方法的流程示意图；图3为本专利技术实施例三提供的神经网络模型建立方法的流程示意图；图4为本专利技术实施例四提供的神经网络模型建立装置的结构示意图；图5为本专利技术实施例五提供的神经网络模型建立装置的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例所获得的所有其他实施例，都属于本专利技术保护的范围。针对上述提及的在现有的神经网络模型无法兼顾识别精度与模型内存的技术问题，本专利技术提供了一种神经网络模型建立方法、装置及计算机可读存储介质。需要说明的是，本申请提供神经网络模型建立方法、装置及计算机可读存储介质可运用在当前任意一种神经网络模型上，从而实现在保证识别精度的基础上，降低模型的内存，因此其能够方便自由存储嵌入。图1为本专利技术实施例一提供的神经网络模型建立方法的流程示意图，如图1所示，所述神经网络模型建立方法包括：步骤101、在数据输入层的下一层设置特征提取层，所述特征提取层用于对输入的待识别图像进行特征提取。在本实施方式中，为了提高轻量级卷积神经网络的精确度，首先可以在数据输入层的下一层设置一特征提取层，利于模型学习更深层的抽象特征。具体地，该特征提取层用于对输入的待识别图像进行特征提取，获得待识别图像的高频图像，利用这些高频图像作为先验知识进行训练学习以及识别，从而能够大幅地提高卷积神经网络的识别精度以及识别效率。可选地，本实施例可以为基于SqueezeNet轻量级卷积神经网络的改进，具体可以为SqueezeNet轻量级卷积神经网络的数据输入层的下一层设置一特征提取层。步骤102、将一个1*h的卷积核与一个h*1的卷积核相结合作为膨胀层的核心部分，其中，h为正奇数，将所述膨胀层与压榨层串联作为Fire块。在本实施方式中，在卷积神经网络中，合适的卷积核组合不仅可以增强网络的局部感受野，而且可以适当加深网络层数，提高网络的识别精度。因此，在SqueezeNet轻量级卷积神经网络的数据输入层的下一层设置一特征提取层的基础上，可以为SqueezeNet轻量级卷积神经网络的Fire块，将一个1*h的卷积核与一个h*1的卷积核相结合作为膨胀层的核本文档来自技高网...

【技术保护点】
1.一种神经网络模型建立方法，其特征在于，包括：/n在数据输入层的下一层设置特征提取层，所述特征提取层用于对输入的待识别图像进行特征提取；/n将一个1*h的卷积核与一个h*1的卷积核相结合作为膨胀层的核心部分，其中，h为正奇数，将所述膨胀层与压榨层串联作为Fire块；/n建立各相邻Fire块之间的关联关系，获得调整后的待训练模型；/n通过预设的待训练数据对所述待训练模型进行训练，获得训练后的神经网络模型。/n

【技术特征摘要】
1.一种神经网络模型建立方法，其特征在于，包括：
在数据输入层的下一层设置特征提取层，所述特征提取层用于对输入的待识别图像进行特征提取；
将一个1*h的卷积核与一个h*1的卷积核相结合作为膨胀层的核心部分，其中，h为正奇数，将所述膨胀层与压榨层串联作为Fire块；
建立各相邻Fire块之间的关联关系，获得调整后的待训练模型；
通过预设的待训练数据对所述待训练模型进行训练，获得训练后的神经网络模型。


2.根据权利要求1所述的方法，其特征在于，所述在数据输入层的下一层设置特征提取层，包括：
在数据输入层的下一层设置小波框架，将所述小波框架作为所述特征提取层。


3.根据权利要求1所述的方法，其特征在于，所述将一个1*h的卷积核与一个h*1的卷积核相结合作为膨胀层的核心部分，包括：
分别为所述1*h的卷积核以及h*1的卷积核设置延拓参数和步长参数，通过设置延拓参数和步长参数后的一个1*h的卷积核与一个h*1的卷积核相结合作为膨胀层的核心部分。


4.根据权利要求1所述的方法，其特征在于，所建立各相邻Fire块之间的关联关系，包括：
利用残差原理建立相邻Fire块之间的关联关系。


5.根据权利要求1所述的方法，其特征在于，所述通过预设的待训练数据对所述待训练模型进行训练，获得训练后的神经网络模型，包括：
将所述待训练数据随机分为训练集与测试集；
通过预设的数据扩充方式对所述训练集与测试集中的数据量进行扩充；
分别对所述训练集与测试集中的数据进行标注；
将所述训练集与测试集中的数据转换为统一尺度；
通过所述训练集中的数据对所述待训练模...

【专利技术属性】
技术研发人员：程立双，
申请(专利权)人：北大方正集团有限公司，北京北大方正电子有限公司，
类型：发明
国别省市：北京;11