一种卷积神经网络构建方法技术

本发明专利技术公开了一种卷积神经网络构建方法，属于神经网络技术领域。其在卷积神经网络前向传递时，在每个原始卷积核上，通过手调核与原始卷积核的点乘，实现对原始卷积核的调制，得到调制卷积核，并用该调制卷积核代替原始卷积核进行神经网络的前向传递，以达到特征增强的效果。本发明专利技术方法对神经网络做出了极大优化，使得网络所须学习的核总量减少，此外，通过调制产生子卷积核对原始网络结构中冗余学习的核通过进行编排，还能够达到模型压缩的目的。

A method of building a convolution neural network

The invention discloses a method for constructing a convolution neural network, which belongs to the field of neural network technology. In the convolutional neural network to transfer, in each of the original convolution kernel, by hand the nucleus with the original convolution multiplication, modulation of the original convolution modulation, get the convolution kernel, and the modulation of convolution instead of the original convolution neural network prior to the transfer, in order to achieve feature enhancement effect. The method of the invention greatly optimizes the neural network, so that the total amount of learning that the network has to learn is reduced. In addition, the core of redundant learning in the original network structure is arranged by modulating the generated convolution kernel, and it can also achieve the purpose of model compression.

【技术实现步骤摘要】
一种卷积神经网络构建方法
本专利技术涉及图像识别、人工智能及神经网络
，特别是指一种卷积神经网络构建方法。
技术介绍
近些年来，随着超大规模分类数据集合和并行计算工具GPU的出现，深度卷积神经网络(deepconvolutionneuralnetworks,DCNNs)在计算机视觉领域快读发展，并获得了学术界的广泛关注。这种端到端的网络通过大量数据训练样本驱动训练，借助随机梯度下降等优化算法自主学习模型参数，能够非常有效地抽象出原始图片的高级特征，在目标识别、检测、分割等计算机视觉任务中取得了突破性的进展。DCNNs性能的提高依赖于训练数据的扩展以及复杂的模型结构，然而现实生活中的许多实际问题，通常却只有小规模数据的支持，直接利用目标任务的小规模的训练数据，很难获得高性能的DCNN。与神经网络不同，传统的机器学习算法通过手调特征来进行特征提取和分类，较为重要的手调特征包括方向梯度直方图(HistogramofOrientedGradient,HOG)、尺度不变特征变换(Scale-invariantfeaturetransform,SIFT)、Gabor变换等。基于特征提取的DCNNs是完全基于数据驱动的技术，而手调特征编码特征的过程则不需要进行学习，因此也不依赖大规模的训练数据集。此外，传统的DCNNs在训练过程中通常存在冗余学习的卷积核，当神经网络的层数增加时，网络的数据会迅速增加，所以训练好后，保存的模型也会非常占存储空间。可见，现有技术中的深度卷积神经网络存在训练样本量大、耗费存储空间的问题。
技术实现思路
有鉴于此，本专利技术提出一种卷积神经网络构建方法，该方法能够实现对神经网络的优化，在不降低神经网络性能的同时实现特征优化和模型压缩。基于上述目的，本专利技术提供的技术方案是：一种卷积神经网络构建方法，其在卷积神经网络前向传递时，在每个原始卷积核上，通过手调核与原始卷积核的点乘，实现对原始卷积核的调制，得到调制卷积核，并用该调制卷积核代替原始卷积核进行神经网络的前向传递，以达到特征增强的效果。可选的，所述手调核为学习出来的手调核，在卷积神经网络的反传过程中，也对手调核进行更新，使其进行自学习，由此得到调制效果较好的手工核。可选的，通过复制N次的方式将输入卷积神经网络的二维矩阵扩展为三维矩阵，并以三维矩阵作为该卷积神经网络的输入特征图，N为输入二维矩阵的通道数，且输入二维矩阵的通道数与手工核的通道数相等。可选的，所述三维矩阵输入卷积神经网络后，经过前向传递过程，得到输出特征向量，并通过损失函数计算出损失；得到损失后，卷积神经网络反传更新，损失从最深层传递到最浅层；每层更新时，仅更新本体核，当损失反传到最浅层时，再更新手调核。从上面所述可以看出，本专利技术的有益效果在于：1、本专利的专利技术人发现，传统的神经网络在网络的每一层卷积层中，通常存在隶属同一种模式，但结构、方向、尺度等信息不完全相同的卷积核，这些核是独立学习的。传统网络忽略了一个事实，即这些同种模式不同结构的核可以通过其中一个本体核调制得出，这样学习多个核的任务则变成只需要学习一个本体核的任务。为此，本专利技术提出了一种全新的卷积方式，该卷积方式基于卷积核调制，借由手调核来控制可以学习的卷积核，只需要学习部分卷积核，即可拟合复杂模型，同时由于调制信息的加入，使得网络得到的特征能够实现优化或增强，减少参数量和存储空间，同时不会使神经网络性能下降。2、本专利技术基于卷积核调制对现有的神经网络结构进行优化，实现了模型压缩，优化了卷积神经网络中的冗余学习，解决了计算资源浪费的弊端。通过学习部分卷积核，拟合出原始参数空间所需学习的其他核，在提高学习效率的同时还能保证神经网络的性能。3、通过对传统神经网络的结构进行调整，本专利技术方法在神经网络中加入了调制方式，其中，原始的卷积核由二维卷积核拓展成三维卷积核，相应地，卷积神经网络将由二维卷积变为三维卷积，这种拓展将会使模型参数增长，参数的增长与拓展的通道数量表现为线性关系。为了解决这一问题，本专利技术方法通过对网络宽度(即每个卷积层卷积核的数量)调整来控制参数的增长，而参数增长与网络的宽度则是平方的关系，通过控制宽度能够在不降低分类精度的实现对模型的压缩。4、本专利技术中的手调核可以是传统手调核，如Gabor核、Gabor-Einstein核，这些核能够通过方向和尺度因子来实现卷积核的衍生，也可以使通过自学习而得到半手调核，学习过程和神经网络的卷积核同步进行，不过由于整个神经网络只需要一个手调核，所以这个自学习的过程不会使原神经网络的训练过程时间增长，而且自学习的核对于原来的卷积核的增加的倍数更加自由，这个方法同时对图片提取的特征有增强的作用，所以在减少学习参数的同时，可以增加神经网络的性能。总之，本专利技术方法对神经网络做出了极大优化，使得网络所须学习的核总量减少，此外，通过调制产生子卷积核对原始网络结构中冗余学习的核通过进行编排，还能够达到模型压缩的目的。附图说明为了更加清楚地描述本专利，下面提供一幅或多幅附图，这些附图旨在对本专利的
技术介绍
、技术原理和/或某些具体实施方案做出辅助说明。需要注意的是，这些附图可以给出也可以不给出一些在本专利文字部分已有描述且属于本领域普通技术人员公知常识的具体细节；并且，因为本领域的普通技术人员完全可以结合本专利已公开的文字内容和/或附图内容，在不付出任何创造性劳动的情况下设计出更多的附图，因此下面这些附图可以涵盖也可以不涵盖本专利文字部分所叙述的所有技术方案。此外，这些附图的具体内涵需要结合本专利的文字内容予以确定，当本专利的文字内容与这些附图中的某个明显结构不相符时，需要结合本领域的公知常识以及本专利其他部分的叙述来综合判断到底是本专利的文字部分存在笔误，还是附图中存在绘制错误。特别地，以下附图均为示例性质的图片，并非旨在暗示本专利的保护范围，本领域的普通技术人员通过参考本专利所公开的文字内容和/或附图内容，可以在不付出任何创造性劳动的情况下设计出更多的附图，这些新附图所代表的技术方案依然在本专利的保护范围之内。图1是本专利技术实施例中一种卷积神经网络模型的结构示意图；图2是本专利技术实施例中对卷积核的调制方法示意图；图3是本专利技术实施例中调制核的前向卷积过程示意图。具体实施方式为了便于本领域技术人员对本专利技术方案的理解，同时，为了使本专利的技术目的、技术方案和有益效果更加清楚，并使权利要求书的保护范围得到充分支持，下面以具体案例的形式对本专利的技术方案做出进一步的、更详细的说明。一种卷积神经网络构建方法，其在卷积神经网络前向传递时，在每个原始卷积核上，通过手调核与原始卷积核的点乘，实现对原始卷积核的调制，得到调制卷积核，并用该调制卷积核代替原始卷积核进行神经网络的前向传递，以达到特征增强的效果。可选的，所述手调核为Gabor核。可选的，所述手调核为学习出来的手调核，在卷积神经网络的反传过程中，也对手调核进行更新，使其进行自学习，由此得到调制效果较好的手工核。可选的，通过复制N次的方式将输入卷积神经网络的二维矩阵扩展为三维矩阵，并以三维矩阵作为该卷积神经网络的输入特征图，N为输入二维矩阵的通道数，且输入二维矩阵的通道数与手工核的通道数相等。可选的，所述三维矩阵输入卷积神经网络后，经过前向传递本文档来自技高网...

【技术保护点】
一种卷积神经网络构建方法，其特征在于，在卷积神经网络前向传递时，在每个原始卷积核上，通过手调核与原始卷积核的点乘，实现对原始卷积核的调制，得到调制卷积核，并用该调制卷积核代替原始卷积核进行神经网络的前向传递，以达到特征增强的效果。

【技术特征摘要】
1.一种卷积神经网络构建方法，其特征在于，在卷积神经网络前向传递时，在每个原始卷积核上，通过手调核与原始卷积核的点乘，实现对原始卷积核的调制，得到调制卷积核，并用该调制卷积核代替原始卷积核进行神经网络的前向传递，以达到特征增强的效果。2.根据权利要求1所述的卷积神经网络构建方法，其特征在于，所述手调核为学习出来的手调核，在卷积神经网络的反传过程中，也对手调核进行更新，使其进行自学习，由此得到调制效果较好的手工核。3.根据权利要求1所述的卷积神经网络构建方法，...

【专利技术属性】
技术研发人员：张宝昌，王晓迪，蔚保国，王垚，罗益，贾瑞才，栾尚祯，
申请(专利权)人：中国电子科技集团公司第五十四研究所，
类型：发明
国别省市：河北,13