一种基于类别的滤波器剪枝方法技术

本发明专利技术涉及一种基于类别的滤波器剪枝方法，包括：基于原始VGG

【技术实现步骤摘要】
一种基于类别的滤波器剪枝方法


[0001]本专利技术涉及图像处理中模型轻量化领域，特别适用于计算资源较少的平台。

技术介绍

[0002]图像分类与检测是计算机视觉与机器学习领域非常活跃的研究方向。图像分类与检测在很多领域得到广泛应用，包括人脸识别、垃圾分类、行为识别等。可以说，物体分类与检测已经应用于人们日常生活的方方面面。
[0003]在深度学习网络中，随着网络深度的加深，现有的卷积神经网络如VGG
[1]、ResNet
[2]、GoogleNet
[3]、DenseNet
[4]等复杂模型的计算量和参数量所带来的高额存储空间和计算资源消耗等问题导致模型不能直接部署在便携型设备上。因此，以去除参数、减少计算量、同时保持高精度为目标的模型压缩已成为一个热门的研究领域。近年来出现了很多模型压缩方法，大致可以分为四类：网络剪枝
[5]、知识蒸馏
[6]、矩阵分解
[7]和轻量化设计
[8]。
[0004]其中网络剪枝是对网络结构中不重要的一部分剪枝或者稀疏化，现有的剪枝算法分为结构化剪枝和非结构化剪枝。结构化剪枝是指去掉某些被判定为不重要的滤波器或者某些被判定为不重要的层。非结构化剪枝的本质是将滤波器的某些权重进行删除，同时使用迭代训练对剪枝带来的损失进行逐步调整。知识蒸馏是让简单网络的输出拟合训练好的复杂网络的输出，简单网络作为学生网络，复杂网络作为教师网络。因为教师网络提取出的知识包括预测结果中数据结构间的相似性以及更精确的特征，学生网络可以直接从教师网络中提取知识，而不是直接去学习真实标签。矩阵分解主要是利用神经网络中的冗余对权重矩阵进行降维，即将模型中的卷积和全连接层参数矩阵分解为多个小矩阵乘积的形式，这样可以大大降低模型的体积。轻量化设计则旨在设计更加精简有效的网络。大致分为两大方向：轻量化卷积结构和网络结构搜索。轻量化卷积结构中出现了SqueezeNet
[8],MobileNet
[9],ShffleNet
[10]等轻量级网络系列。其中MobileNet将普通卷积操作分成深度卷积结构和逐点卷积结构两部分。简单来说就是把原始卷积层分成两层。第一层为深度卷积，对每个输入滤波器使用单滤波器的轻量级滤波器；第二层为逐点卷积，即尺寸为1
×
1的卷积，用来计算输入滤波器的线性组合。经过这样的拆分，可以将参数量变为原来的九分之一。NAS(Neural Architecture Search)
[11]神经网络结构搜索与传统的网络模型的不同之处在于，传统网络层及参数均为人工设计，往往导致设计出的模型并非最优。NAS则通过搜索方法寻找最优的神经网络架构，但目前使用神经网络结构搜索需要很大的硬件和时间消耗，NAS还有待发展。
[0005]在上述类别中，网络剪枝通过去除冗余权值或冗余的过滤器来进行模型压缩，目标是开发更小、更高效的神经网络，大量实验证明了其在模型压缩方面的优越性。大量的理论和实验证明，在原有网络层的基础上对模型进行剪裁可以在维持高精度的基础上大幅度削减计算量和参数量。卷积层通常是空间稀疏的，也就是说，它的激活输出可能只包含很小的有效区域。作为网络剪枝的一个分支，滤波器剪枝通过去除冗余滤波器来显著减小模型的尺寸，并且已成为当前模型压缩方法的一个热门方向，近年来也激发了许多相关研究。当
前剪枝方法主要是通过设计不同的算法来得到滤波器的重要性，然后从不重要的滤波器中移除所有输入和输出连接，从而得到一个参数量较小的模型。但是，当前大部分剪枝方法具有一定的局限性，忽略了分类网络中不同类别的图像对应的滤波器有所不同，保留的重要滤波器内部仍然存在一定的冗余。
[0006]本专利技术提出了的基于类别的滤波器剪枝算法，通过在原始网络层插入一个滤波器激活值生成模块，在网络浅层特征提取部分利用滤波器激活值生成模块对输入的不同特征图的响应程度来判定每个滤波器的重要程度，在高层语义部分依据类别来选择对不同类别响应差异较大的滤波器进行保留，把其余的对类别响应相似度较高的滤波器进行移除，从而在保证模型性能的情况下减少模型的计算量和参数量。
[0007]参考文献：
[0008][1]Simonyan K,Zisserman A.Very deep convolutional networks for large
‑
scale image recognition[J].arXiv preprint arXiv:1409.1556,2014.
[0009][2]He K,Zhang X,Ren S,et al.Deep residual learning for image recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.2016:770
‑
778.
[0010][3]Szegedy C,Liu W,Jia Y,et al.Going deeper with convolutions[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.2015:1
‑
9.
[0011][4]Huang G,Liu Z,Van Der Maaten L,et al.Densely connected convolutional networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.2017:4700
‑
4708.
[0012][5]Hua W,Zhou Y,De Sa C,et al.Channel gating neural networks[J].arXiv preprint arXiv:1805.12549,2018.
[0013][6]Hinton G,Vinyals O,Dean J.Distilling the knowledge in a neural network[J].arXiv preprint arXiv:1503.02531,2015.
[0014][7]Zhang X,Zou J,He K,et al.Accelerating Very Deep Convolutional Networks for Classification and Detection[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2016,38(10):1943.
[0015][8]Iandola F N,Han S,Moskewicz M 本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于类别的滤波器剪枝方法，包括下列步骤：(1)数据准备，方法如下：第一步：划分数据集，划分为训练集和测试集。(2)网络结构搭建，方法如下：第一步：基于原始VGG
‑
16进行重新搭建，把预测部分的三个全连接层变为两个，交互神经元个数由原来的4096减少到512，得到需要剪枝的原始网络；之后加入激活值生成模块，得到新的网络模型,其中激活值生成模块由一个平均池化层和两个全连接层组成；第二步：利用数据集中的训练集训练加入激活值生成模块的网络模型，使模型在测试集上的测试准确率达到最高，此时获得一个最优模型；第三步：再次把训练集输入最优模型，在不改变网络中的任何参数的情况下，利用激活值生成模块和输入图片，得到每个滤波器的激活值,网络中不同层中不同滤波器的权重向量w
i
通过公式(1)得到其中i代表第i层，Sigmoid代表规一化函数，H和W为输入特征的空间分辨率，I
i
为原始网络层输出...

【专利技术属性】
技术研发人员：褚晶辉，李梦，吕卫，
申请(专利权)人：天津大学，
类型：发明
国别省市：