一种卷积神经网络的优化方法和装置制造方法及图纸

本发明专利技术提供了一种卷积神经网络的优化方法包括：在所述卷积神经网络所增加的层上设置捷径连接，通过学习获取所述捷径连接对应的残差映射；根据所述残差映射确定所述捷径连接对应的期望映射；将所述期望映射代替所述捷径连接对应的层，进行卷积神经网络模型预测。本发明专利技术所述卷积神经网络优化方法，可以有效减少所增加的层的参数，使网络间的数据流通更为顺畅，有利于提高模型的预测精度和预测速度。

Optimization method and device for convolutional neural network

The present invention provides an optimization method including convolutional neural network: the increase in the convolutional neural network layer arranged on the shortcut connection, the connection to obtain residual mapping corresponding by study; according to the mapping of the residual mapping determines the desired shortcut connected with the corresponding mapping; instead of the corresponding shortcut connections will the expected, convolution neural network model. The convolution neural network optimization method of the invention can effectively reduce the parameters of the additional layer, make the data flow between the networks smoother, and improve the prediction accuracy and the prediction speed of the model.

【技术实现步骤摘要】
一种卷积神经网络的优化方法和装置
本专利技术属于人工神经网络领域，尤其涉及一种卷积神经网络的优化方法和装置。
技术介绍
卷积神经网络(英文全称为ConvolutionalNeuralNetwork，英文简称为CNN)是人工神经网络的一种，目前已成为语音分析和图像识别领域的研究热点。卷积神经网络的权值共享网络结构，类似于生物神经网络，有效的降低了网络模型的复杂度，减少了权值的数量。随着CNN网络的发展，特别是VGG(英文全称为visualgeometrygroup，中文全称为：视觉几何组)卷积神经网络的提出，使得网络层数的增加成为卷积神经网络的一个重要研究方向。但是，随着网络层数的增加，会出现明显的梯度的消失，或者梯度的爆炸，会导致训练不能有效的收敛，卷积神经网络的参数数量迅速增加，影响系统的预测精度和预测速度。
技术实现思路
本专利技术的目的在于提供一种卷积神经网络的优化方法，以解决现有技术由于网络层数增加，导致卷积神经网络的参数数量迅速增加，影响系统的预测精度和预测速度的问题。第一方面，本专利技术实施例提供了一种卷积神经网络的优化方法，所述方法包括：在所述卷积神经网络所增加的层上设置捷径连接，通过学习获取所述捷径连接对应的残差映射；根据所述残差映射确定所述捷径连接对应的期望映射；将所述期望映射代替所述捷径连接对应的层，进行卷积神经网络模型预测。结合第一方面，在第一方面的第一种可能实现方式中，所述根据所述残差映射确定所述捷径连接对应的期望映射步骤包括：判断所述期望映射H(X)为非线性映射，且映射变量X与期望映射H(X)具有相同维数时，所述期望映射H(X)＝F(X)+X，其中F(X)为残差映射；判断所述期望映射H(X)为非线性映射，则映射变量X与期望映射H(X)维数不相同时，所述期望映射H(X)＝F(X)+f(X),其中，f(X)＝w×X，其中F(X)为残差映射，w为神经网络的权重。结合第一方面，在第一方面的第二种可能实现方式中，所述方法还包括：对所述卷积神经网络归一化初始化和中间层的归一化训练。结合第一方面，在第一方面的第三种可能实现方式中，所述方法还包括：采用N×N卷积核对所述卷积神经网络的层进行卷积运算，其中2<N<7。结合第一方面，在第一方面的第四种可能实现方式中，所述方法还包括下述步骤中的一种或者多种：在所述卷积神经网络的最后的卷积层之后，加入最大池化层，所述最大池化层的采样滑动窗口为C*C，步长为1，其中C与图像经全部卷积层处理后的图像块的边长相同；先在样本数据库上训练卷积神经网络模型，然后在标注准确的数据库上更新中间卷积层与全连层的参数，对所述卷积神经网络进行微调；在保持原图像长宽比的基础上，降低输入图像的尺寸；减少卷积层的通道数。第二方面，本专利技术实施例提供了一种卷积神经网络的优化装置，所述装置包括：捷径连接设置单元，用于在所述卷积神经网络所增加的层上设置捷径连接，通过学习获取所述捷径连接对应的残差映射；期望映射获取单元，用于根据所述残差映射确定所述捷径连接对应的期望映射；代替单元，用于将所述期望映射代替所述捷径连接对应的层，进行卷积神经网络模型预测。结合第二方面，在第二方面的第一种可能实现方式中，所述期望映射单元包括：第一计算子单元，用于判断所述期望映射H(X)为非线性映射，且映射变量X与期望映射H(X)具有相同维数时，所述期望映射H(X)＝F(X)+X，其中F(X)为残差映射；第二计算子单元，用于判断所述期望映射H(X)为非线性映射，则映射变量X与期望映射H(X)维数不相同时，所述期望映射H(X)＝F(X)+f(X),其中，f(X)＝w×X，其中F(X)为残差映射，w为神经网络的权重。结合第二方面，在第二方面的第二种可能实现方式中，所述装置还包括：归一化训练单元，用于对所述卷积神经网络归一化初始化和中间层的归一化训练。结合第二方面，在第二方面的第三种可能实现方式中，所述装置还包括：卷积运算单元，用于采用N×N卷积核对所述卷积神经网络的层进行卷积运算，其中2<N<7。结合第二方面，在第二方面的第四种可能实现方式中，所述装置还包括下述单元中的一个或者多个：最大池化单元，用于在所述卷积神经网络的最后的卷积层之后，加入最大池化层，所述最大池化层的采样滑动窗口为C*C，步长为1，其中C与图像经全部卷积层处理后的图像块的边长相同；微调单元，用于先在样本数据库上训练卷积神经网络模型，然后在标注准确的数据库上更新中间卷积层与全连层的参数，对所述卷积神经网络进行微调；尺寸调整单元，用于在保持原图像长宽比的基础上，降低输入图像的尺寸；通道调整单元，用于减少卷积层的通道数。在本专利技术中，通过在卷积神经网络所增加的层上设置捷径连接，并通过学习获取所述捷径连接对应的残差映射，根据所述残差映射获取所述捷径连接对应的期望映射，将所述期望映射代替所增加的层，可以减少所增加的层的参数，使网络间的数据流通更为顺畅，有利于提高模型的预测精度和预测速度。附图说明图1是本专利技术实施例提供的卷积神经网络的优化方法的实现流程图；图2是本专利技术实施例提供的残差网络的实现示意图；图3为本专利技术实施例提供的卷积神经网络的优化装置的结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术实施例的目的在于提供一种卷积神经网络的优化方法，以解决现有技术中由于卷积神经网络层数增加时，由于增加的卷积神经网络的层会使得神经网络模型的参数迅速增加，由于参数的增多，导致预测模型需要更多的存储空间对参数进行运算和存储，也相应的降低的模型的预测准确速度，并且预测模型的预测精度也会降低的问题。下面结合附图对本专利技术作进一步的说明。图1示出了本专利技术实施例提供的卷积神经网络的优化方法的实现流程，详述如下：在步骤S101中，在所述卷积神经网络所增加的层上设置捷径连接，通过学习获取所述捷径连接对应的残差映射。在步骤S102中，根据所述残差映射确定所述捷径连接对应的期望映射。在步骤S103中，将所述期望映射代替所述捷径连接对应的层，进行卷积神经网络模型预测。具体的，所增加的层，如果是一个恒等映射层(identifymapping)，如图2所示，即存在一个恒等映射H，使得H(X)＝X(1)那么，对于恒等映射H，随着层数的增加，增加层数后的训练误差与没有增加之前的训练误差相比较，训练误差不会随之增加。所增加的层对应的映射H(X)为非线性映射，那么：H(X)＝F(X)+X(2)也就是说：F(X)＝H(X)-X(3)其中，F(X)为残差映射，如果(3)式优化为恒等式，只需要优化F(X)＝0即可。在卷积神经网络中，H(X)为期望映射，F(X)+X可以通过捷径连接实现，如图2所示，所述捷径连接即就是在标准的前馈卷积网络上，增加一个跳跃，绕过一些层的连接。并且，每绕过一个层就产生一个残差块，在卷积层预测时需要加上输入张量的残差。另外，如果所增加的层对应的映射H(X)为非线性映射，且映射变量X与期望映射H(X)维数不相同时，则所述期望映射H(X)＝F(X)+f(X),其中，f(X)＝w×X，其中F(X)为残差映射，w为神经网络的权本文档来自技高网...

【技术保护点】
一种卷积神经网络的优化方法，其特征在于，所述方法包括：在所述卷积神经网络所增加的层上设置捷径连接，通过学习获取所述捷径连接对应的残差映射；根据所述残差映射确定所述捷径连接对应的期望映射；将所述期望映射代替所述捷径连接对应的层，进行卷积神经网络模型预测。

【技术特征摘要】
1.一种卷积神经网络的优化方法，其特征在于，所述方法包括：在所述卷积神经网络所增加的层上设置捷径连接，通过学习获取所述捷径连接对应的残差映射；根据所述残差映射确定所述捷径连接对应的期望映射；将所述期望映射代替所述捷径连接对应的层，进行卷积神经网络模型预测。2.根据权利要求1所述方法，其特征在于，所述根据所述残差映射确定所述捷径连接对应的期望映射步骤包括：判断所述期望映射H(X)为非线性映射，且映射变量X与期望映射H(X)具有相同维数时，所述期望映射H(X)＝F(X)+X，其中F(X)为残差映射；判断所述期望映射H(X)为非线性映射，则映射变量X与期望映射H(X)维数不相同时，所述期望映射H(X)＝F(X)+f(X),其中，f(X)＝w×X，其中F(X)为残差映射，w为神经网络的权重。3.根据权利要求1所述方法，其特征在于，所述方法还包括：对所述卷积神经网络归一化初始化和中间层的归一化训练。4.根据权利要求1所述方法，其特征在于，所述方法还包括：采用N×N卷积核对所述卷积神经网络的层进行卷积运算，其中2<N<7。5.根据权利要求1的述方法，其特征在于，所述方法还包括下述步骤中的一种或者多种：在所述卷积神经网络的最后的卷积层之后，加入最大池化层，所述最大池化层的采样滑动窗口为C*C，步长为1，其中C与图像经全部卷积层处理后的图像块的边长相同；先在样本数据库上训练卷积神经网络模型，然后在标注准确的数据库上更新中间卷积层与全连层的参数，对所述卷积神经网络进行微调；在保持原图像长宽比的基础上，降低输入图像的尺寸；减少卷积层的通道数。6.一种卷积神经网络的优化装置，其特征在于，所述装置包括：捷径连接设置单元，用于在所...

【专利技术属性】
技术研发人员：陈书楷，杨奇，
申请(专利权)人：厦门中控生物识别信息技术有限公司，
类型：发明
国别省市：福建,35