一种基于卷积特征响应图的神经网络剪枝方法技术

本发明专利技术公开了一种基于卷积特征响应图的网络剪枝方法，它通过卷积特征响应图剪枝的神经网络压缩方法，能实现不影响神经网络精度的基础上，实现神经网络的压缩和加速。本发明专利技术通过采用上述技术，剔除神经网络中冗余的卷积操作实现网络的加速和压缩；根据卷积特征响应图的特征响应比判断，实现自动有效的特征提取，结合网络剪枝操作，能在不影响神经网络精度的基础上，实现神经网络的压缩和加速，减少了神经网络中大量的计算量和参数数量，加快神经网络的运算，解决了深度学习难以应用在现实场景中的问题。

【技术实现步骤摘要】
一种基于卷积特征响应图的神经网络剪枝方法
本专利技术涉及一种基于卷积特征响应图的神经网络剪枝方法，尤其涉及利用卷积特征响应图的可视化方法，对冗余的网络卷积结构进行剪枝操作，实现网络缩减和加速的神经网络压缩方法。
技术介绍
神经网络由于其准确率高，通用性强的特点，受到各行各业学者的持续关注和研究，但由于神经网络的高复杂性和网络计算量巨大的原因，只有较少的方法能应用到实际的场景中。而神经网络的使用需要大量的计算量，因此许多学者针对神经网络进行压缩和加速的研究。而多数方法在实现网络加速的同时，需要对网络结构进行修改并牺牲部分的网络精度。因此基于卷积特征响应图的神经网络剪枝方法是一种较好的解决方案，在不影响网络精度的基础上，实现神经网络的缩减，达到网络加速的目的。为了解决神经网络计算量过大的问题，国内外学术界、工业界提出了很多方案。其中与本专利技术较为接近的技术方案包括：Y.Gong(Y.Gong,L.Liu,M.Yang,L.Bourdev,“CompressingDeepConvolutionalNetworksusingVectorQuantization”[J],arXiv:1412.6115,2014)提出了一种压缩神经网络模型大小的方法，主要通过密集权重矩阵进行量化编码实现网络压缩，但该方法只适用于全链接层的网络压缩，不能应用于其他的网络结构。S.Han等人(S.Han,H.Mao,W.J.Dally,“DeepCompression:CompressingDeepNeuralNetworkswithPruning,TrainedQuantizationandHuffmanCoding”,[C]in2016internationalconferenceofLearningRepresentations,October2016,vol.56,No.4,pp.1-14.)提出了“DeepCompression”压缩方法，通过减去小权重的分支再训练，权重聚类压缩和哈夫曼编码的方式，减少了网络大小，提高了运算速度和减少了网络使用的能量损耗，但该算法在实现了网络加速的同时影响了神经网络的精度。Z.Lin等人(Z.Lin,M.Courbariaux,R.Memisevic,etal.“NeuralNetworkswithFewMultiplications”,[C]in2016InternationalConferenceonLearningRepresentations,2016)通过在隐层中随机二值化和在反向传播中将乘法转换为移位操作实现网络量化加速。二值网络虽然能极大的压缩网络的大小和提升网络的速度，但相应的牺牲网络精度是不可避免的，特别是在目标检测的问题上。综上所述，当前神经网络压缩和加速的方案中存在如下不足：(1)多数方法对在网络速度提高的基础上，减少了部分网络参数的精度，导致网络整体精度受到影响；(2)部分方法只能针对全连接层进行压缩和加速，而全连接层由于参数过多训练复杂而渐渐被全卷积结构所替代，应用场景局限性较大；(3)许多方法用二值化操作替代神经网络中复杂的浮点数计算，需要特定的硬件才能有较好的实际应用，对硬件依赖性较高。人工神经网络在各行业中都有较好的实际应用场景，但由于网络依赖大规模的计算能力，导致神经网络在实际应用中受到限制。而现在多数方法为了实现网络加速的目标，需要牺牲部分的网络精度或依赖于特殊的硬件。
技术实现思路
针对现有技术中存在的上述问题，为了不影响神经网络精度并实现神经网络压缩和加速，本专利技术提供了一种基于卷积特征响应图的网络剪枝方法；它通过卷积特征响应图剪枝的神经网络压缩方法，能实现不影响神经网络精度的基础上，实现神经网络的压缩和加速。所述的一种基于卷积特征响应图的网络剪枝方法，其特征在于包括如下步骤：步骤1：读取网络权重文件和网络配置文件，得到初始网络结构N0；步骤2：读入训练样本集合Sample＝{(Ik,labelk)|k＝1,2,3,…,nsample}，其中Ik表示宽度为Wk高度为Hk的训练样本图像，labelk为对应的图像标签信息，nsample表示训练样本数量，labelk＝(xk,yk,wk,hk)，(xk,yk)表示目标区域在图像中所在位置的左上角坐标，wk和hk分别表示目标区域在图像Ik中的宽度和高度；步骤3：将图像和标签文件(Ik,labelk)输入到网络中，并根据各层特征响应图进行网络剪枝操作，具体如下：步骤3.1：将图像Ik输入初始网络结构N0中，并进行前向传播，得到网络卷积特征图集合R＝{rij|i＝1,2,3,…,n,j＝1,2,3,…,m}，其中rij表示图像Ik经过第i层中第j个卷积后得到的卷积特征响应图，n表示网络的层数，m表示该卷积层中的卷积数量；步骤3.2：根据式(1)计算卷积特征图rij中标签区域内的像素值之和vposij，根据式(2)计算rij中标签区域外的像素值之和vnegij；其中，vpq表示在卷积特征图rij中坐标(p,q)位置的像素值，(xij,yij)表示在rij中目标区域左上角的坐标，wij和hij分别表示在rij中目标区域的宽度和高度，Wij和Hij分别表示rij的宽度和高度；步骤3.3：根据式(4)计算特征图rij中的目标响应比tij；步骤3.4：剔除满足式(5)的卷积滤波器，并更新初始网络结构N0；tij＜λ(5)其中λ表示事先给定的卷积剔除阈值；步骤4：将样本(Ik,labelk)从训练样本集合Sample中剔除，并重复步骤3和4，直到Sample中无样本，得到最终的剪枝网络Nfinal。通过采用上述技术，本专利技术的有益效果如下：本专利技术通过采用上述技术，剔除神经网络中冗余的卷积操作实现网络的加速和压缩；根据卷积特征响应图的特征响应比判断，实现自动有效的特征提取，结合网络剪枝操作，能在不影响神经网络精度的基础上，实现神经网络的压缩和加速，减少了神经网络中大量的计算量和参数数量，加快神经网络的运算，解决了深度学习难以应用在现实场景中的问题；附图说明图1为本专利技术根据卷积特征响应图进行剪枝的流程图；图2为本专利技术经过步骤3.1前向传播后的网络卷积特征图。具体实施方法下面结合实施实例来详细阐述本专利技术基于卷积特征响应图的神经网络剪枝方法具体实施方式。如图1所示，本专利技术的一种基于卷积特征响应图的网络剪枝方法，包括如下步骤：步骤1：读取网络权重文件和网络配置文件，得到初始网络结构N0；步骤2：读入训练样本集合Sample＝{(Ik,labelk)|k＝1,2,3,…,nsample}，其中Ik表示宽度为Wk高度为Hk的训练样本图像，labelk为对应的图像标签信息，nsample表示训练样本数量，labelk＝(xk,yk,wk,hk)，(xk,yk)表示目标区域在图像中所在位置的左上角坐标，wk和hk分别表示目标区域在图像Ik中的宽度和高度；步骤3：将图像和标签文件(Ik,labelk)输入到网络中，并根据各层特征响应图进行网络剪枝操作，具体如下：步骤3.1：将图像Ik输入初始网络结构N0中，并进行前向传播，得到网络卷积特征图集合R＝{rij|i＝1,2,3,…,n,j＝1,2,3,…,m}，其中rij表示图像Ik经过第i层中第本文档来自技高网...

【技术保护点】
1.一种基于卷积特征响应图的网络剪枝方法，其特征在于包括如下步骤：步骤1：读取网络权重文件和网络配置文件，得到初始网络结构N0；步骤2：读入训练样本集合Sample＝{(Ik,labelk)|k＝1,2,3,…,nsample}，其中Ik表示宽度为Wk高度为Hk的训练样本图像，labelk为对应的图像标签信息，nsample表示训练样本数量，labelk＝(xk,yk,wk,hk)，(xk,yk)表示目标区域在图像中所在位置的左上角坐标，wk和hk分别表示目标区域在图像Ik中的宽度和高度；步骤3：将图像和标签文件(Ik,labelk)输入到网络中，并根据各层特征响应图进行网络剪枝操作，具体如下：步骤3.1：将图像Ik输入初始网络结构N0中，并进行前向传播，得到网络卷积特征图集合R＝{rij|i＝1,2,3,…,n,j＝1,2,3,…,m}，其中rij表示图像Ik经过第i层中第j个卷积后得到的卷积特征响应图，n表示网络的层数，m表示该卷积层中的卷积数量，经过步骤3.1前向传播后的网络卷积特征图如图2所示；步骤3.2：根据式(1)计算卷积特征图rij中标签区域内的像素值之和vposij，根据式(2)计算rij中标签区域外的像素值之和vnegij；...

【技术特征摘要】
1.一种基于卷积特征响应图的网络剪枝方法，其特征在于包括如下步骤：步骤1：读取网络权重文件和网络配置文件，得到初始网络结构N0；步骤2：读入训练样本集合Sample＝{(Ik,labelk)|k＝1,2,3,…,nsample}，其中Ik表示宽度为Wk高度为Hk的训练样本图像，labelk为对应的图像标签信息，nsample表示训练样本数量，labelk＝(xk,yk,wk,hk)，(xk,yk)表示目标区域在图像中所在位置的左上角坐标，wk和hk分别表示目标区域在图像Ik中的宽度和高度；步骤3：将图像和标签文件(Ik,labelk)输入到网络中，并根据各层特征响应图进行网络剪枝操作，具体如下：步骤3.1：将图像Ik输入初始网络结构N0中，并进行前向传播，得到网络卷积特征图集合R＝{rij|i＝1,2,3,…,n,j＝1,2,3,…,m}，其中rij表示图像Ik经过第i层中第j个卷积后得到的...

【专利技术属性】
技术研发人员：葛一粟，高飞，卢书芳，张元鸣，张永良，陆佳炜，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江,33