一种基于局部感知野的单卷积神经网络局部信息与全局信息整合方法技术

本发明专利技术公开了一种基于局部感知野的单卷积神经网络局部信息与全局信息整合方法，包括：步骤1，给定卷积神经网络模型，计算每一层特征图对应在原图中的局部感知野大小；步骤2，依据每一层局部感知野大小，选取一个层分割，以平衡局部信息和全局信息；步骤3，综合考虑信息量与计算量，选取分割方式与分割个数，对选取层的特征图进行分割；步骤4，对分割后的特征图进行维度匹配；步骤5，将选取层后面的所有层，包括损失函数层，叠加到每一个分割后的子特征图之后，进行训练。本发明专利技术提出的卷积神经网络改造算法能使得在一个网络模型中同时学习得到局部信息与全局信息，提高网络模型表达能力，同时仅产生较少的计算量增加。

【技术实现步骤摘要】
一种基于局部感知野的单卷积神经网络局部信息与全局信息整合方法
本专利技术涉及图像处理
，具体涉及一种基于局部感知野的单卷积神经网络局部信息与全局信息整合方法。
技术介绍
2012年，卷积神经网络在ImageNet大规模图像识别比赛中获得冠军，并相比传统算法取得了压倒性的优势。近年来，卷积神经网络越来越多地被应用到计算机视觉的各个领域，包括图像识别、图像检测、图像分割等。卷积神经网络是由若干卷积层、池化层以及损失函数层等叠加而成的多层神经网络模型。当一张图片输入至卷积神经网络，随着深度的增加，每一层特征图中一个固定大小的区域对应在原图中的局部感知野大小也相应增大。由于卷积神经网络的结构特性，全局信息能被很好地利用，而局部细节信息通常不易学习得到。为了同时整合局部信息与全局信息，当前，研究者倾向于对原图抽取多个子块，然后分别对每一个图像子块训练一个单独的卷积神经网络模型。在测试阶段，每一张图像及其子块都需经过对应模型抽取特征，然后将所有抽取得到的特征进行取平均或拼接操作，作为该图像的最终特征。但这样的方法存在诸多局限性。1.特征抽取时间会随着模型个数的增加线性增长，特别是测试阶段，过长的特征抽取时间会影响到模型部署后的性能；2.最终准确率的增长会随着模型个数的增加越来越小，通常从一个模型拼接到两个模型的准确率增长会比两个模型到十多个模型的准确率增长更大；3.子块的选择需要大量人工参与，拼接不合适的子块甚至会使最终准确率下降。
技术实现思路
针对上述现有通过分割原图利用多模型整合局部信息与全局信息方法的局限性，本专利技术提供了一种基于局部感知野的单卷积神经网络局部信息与全局信息整合方法，能使得在一个网络模型中同时学习得到局部信息与全局信息，提高网络模型表达能力，同时仅产生较少的计算量增加。一种基于局部感知野的单卷积神经网络局部信息与全局信息整合方法，包括：步骤1，给定卷积神经网络模型，计算每一层特征图对应在原图中的局部感知野大小；步骤2，依据每一层局部感知野大小，选取一个层分割，以平衡局部信息和全局信息；步骤3，综合考虑信息量与计算量，选取分割方式与分割个数，对选取层的特征图进行分割；步骤4，对分割后的特征图进行维度匹配；步骤5，将选取层后面的所有层，包括损失函数层，叠加到每一个分割后的子特征图之后，进行训练，完成局部信息与全局信息的整合。为方便表述，记输入层即图像层为第0层，后续深度为i的层为第i层。步骤1中，局部感知野大小的计算可以使用逐层迭代的方式：对于第N层特征图中一个大小为HN*WN的区域，可以依据第N层网络参数如核大小、步长等方便计算得到其对应到第N-1层特征图中的大小HN-1*WN-1，逐层迭代，直至第0层输入层，得到H0*W0，即为所求。其中，HN与WN是第N层特征图所述区域的长度与宽度，HN-1与WN-1是第N-1层特征图所述区域的长度与宽度，H0与W0是第0层特征图所述区域的长度与宽度。作为优选，步骤2中，本专利技术选择一个位于网络中间且后接池化层的卷积层。步骤3中，可将原特征图均匀或依据关键点分割成合适个数的子特征图。步骤4中，有多种方法可进行特征图放大操作，用于维度匹配，包括：线性插值、添加去卷积层等，对于特定结构的卷积神经网络模型，还可以选择去池化层。本专利技术通过分析卷积神经网络模型中每一层特征图中一个固定大小的区域对应到原图中的局部感知野大小，选取合适的层进行分割及维度匹配，然后将后续层叠加到分割层之后，以达到在单个卷积神经网络中整合局部信息和全局信息的目的，具有以下优点：(1)将局部信息与全局信息整合到单个卷积神经网络模型中；(2)由于前几层保持不变，能保留全局信息，相比分割原图，能取得更好的效果；(3)由于前几层保持不变，共享权重，相比分割原图，计算量增加更少。附图说明图1为本专利技术基于局部感知野的单卷积神经网络局部信息与全局信息整合方法的流程图；图2为本专利技术基于局部感知野的单卷积神经网络局部信息与全局信息整合方法的结构示意图。具体实施方式以下结合附图和实例，对本专利技术作进一步介绍。本专利技术提供的基于局部感知野的单卷积神经网络局部信息与全局信息整合方法，在Linux系统上基于深度学习框架Caffe进行系统实现，流程如图1所示，结构示意图如图2所示。表1所示是本专利技术实验中使用的卷积神经网络基础模型，其输入大小为100*100，由五组相似模块叠加而成，每一组模块由两个卷积层叠加一个池化层，或三个卷积层组成。表1最后一列展示了将当前层特征图均匀分割为2*2个特征图后，每一个分割后的特征图对应到原图中的局部感知野大小。以该模型作为实例，本专利技术具体步骤描述如下：(1)给定卷积神经网络模型，计算每一层特征图对应在原图中的局部感知野大小。以Conv22层为例。对于Conv22中大小为H*W位于角落的区域，Conv22/Conv21是核大小为3*3，步长为1的卷积层，则对应到Conv21中为(H+1)*(W+1)的特征图,对应到Pool1中为(H+1+1)*(W+1+1)的特征图。表1名称类型核大小/步长输出大小感知野大小Conv11卷积层3×3/1100×100×3251×51Conv12卷积层3×3/1100×100×6452×52Pool1最大池化层2×2/250×50×6452×52Conv21卷积层3×3/150×50×6454×54Conv22卷积层3×3/150×50×12856×56Pool2最大池化层2×2/225×25×12858×58Conv31卷积层3×3/125×25×9662×62Conv32卷积层3×3/125×25×19266×66Pool3最大池化层2×2/213×13×19270×70Conv41卷积层3×3/113×13×12878×78Conv42卷积层3×3/113×13×25686×86Pool4最大池化层2×2/27×7×25694×94Conv51卷积层3×3/17×7×160100×100Conv52卷积层3×3/17×7×320100×100Conv5卷积层7×7/11×1×320100×100Dropoutdropout(40％)1×1×320FC10575全连接层10575LossSoftmax10575Pool1是核大小为2*2，步长为2的池化层，则Conv22对应到Conv12中为2(H+1+1)*2(W+1+1)的特征图。以此类推，Conv22对应到原图中为(2(H+2)+2)*(2(W+2)+2)。因此，将Conv22输出为50*50的特征图均匀分割为2*2即4个大小为25*25特征图后，每一个分割后的特征图对应到原图中的局部感知野大小为(2(25+2)+2)*(2(25+2)+2)即56*56。值得注意的是，上面推导的是分割后特征图位于角落即长宽方向均包含原特征图最边缘信息的情形，若分割后特征图不位于原特征图中的角落位置，则对应局部感知野大小计算应进行细微调整。(2)依据每一层局部感知野大小，选取一个合适的层分割，以平衡局部信息和全局信息。在本实例中，我们选取Conv22层进行分割。其它层亦是可行的。(3)综合考虑信息量与计算量，选取合适的分割方式与分割个数，对选取层的特征图进行分割。在本实例中，由于输入图像及所有特征图长宽比均为本文档来自技高网...

【技术保护点】
一种基于局部感知野的单卷积神经网络局部信息与全局信息整合方法，包括：步骤1，给定卷积神经网络模型，计算每一层特征图对应在原图中的局部感知野大小；步骤2，依据每一层局部感知野大小，选取一个层分割，以平衡局部信息和全局信息；步骤3，综合考虑信息量与计算量，选取分割方式与分割个数，对选取层的特征图进行分割；步骤4，对分割后的特征图进行维度匹配；步骤5，将选取层后面的所有层，包括损失函数层，叠加到每一个分割后的子特征图之后，进行训练，完成局部信息与全局信息的整合。

【技术特征摘要】
1.一种基于局部感知野的单卷积神经网络局部信息与全局信息整合方法，包括：步骤1，给定卷积神经网络模型，计算每一层特征图对应在原图中的局部感知野大小；步骤2，依据每一层局部感知野大小，选取一个层分割，以平衡局部信息和全局信息；步骤3，综合考虑信息量与计算量，选取分割方式与分割个数，对选取层的特征图进行分割；步骤4，对分割后的特征图进行维度匹配；步骤5，将选取层后面的所有层，包括损失函数层，叠加到每一个分割后的子特征图之后，进行训练，完成局部信息与全局信息的整合。2.根据权利要求1所述的基于局部感知野的单卷积神经网络局部信息与全局信息整合方法，其特征在于，步骤1中，局部感知野大小使用逐层迭代的计算方式：对于第N层特征图中一个大小为HN*WN的区域，依据第N层网络参数计算得到其对应到第N-1层特征图中的大小HN-1*WN-1，逐层迭代，直至第0层输入层，得到H0*W0，即为所求的局部感知野大小；其中，HN与WN是第N层特征图所述区域的长度与宽度，HN-1与WN-1是第N-1层特征...

【专利技术属性】
技术研发人员：文戈，蔡登，何晓飞，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33