一种基于特征的秩和通道重要性的剪枝方法技术

本发明专利技术涉及一种基于特征的秩和通道重要性的剪枝方法，包括下列步骤：准备数据集，选定原始网络模型，划分为训练集和测试集；通过数据集训练出收敛的未剪枝的原始网络模型，用数据集中的部分图片输入训练好的模型；通过数据集训练加入通道注意力机制的未剪枝网络模型，用训练集输入训练好的模型，固定模型参数，得到网络层中通道注意力机制对于不同层不同卷积核的权重向量；剪枝；得到全局的不同层的剪枝结果，然后计算每一层剪枝之后剩余的通道数，改变原始网络每一层通道数为剪枝后的通道数，得到裁剪后的网络模型，再使用数据集重新训练，恢复精度，经过不断的梯度反向传播优化最终得到轻量化的最优模型。最终得到轻量化的最优模型。最终得到轻量化的最优模型。

【技术实现步骤摘要】
Networks for Classification and Detection[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2016,38(10):1943.
[0009][3]Lin M,Ji R,Wang Y,et al.Hrank:Filter pruning using high
‑
rank feature map[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2020:1529
‑
1538.
[0010][4]Hu J,Shen L,Sun G.Squeeze
‑
and
‑
excitation networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.2018:7132
‑
7141.
[0011][5]Hua W,Zhou Y,De Sa C,et al.Channel gating neural networks[J].arXiv preprint arXiv:1805.12549,2018.
[0012][6]Krizhevsky A,Hinton G.Learning multiple layers of features from tiny images[J].2009.
[0013][7]Qilong W,Banggu W,Pengfei Z,et al.ECA
‑
Net:Efficient Channel Attention for Deep Convolutional Neural Networks[J].2020.

技术实现思路

[0014]本专利技术提出一种适用于图片分类的剪枝方法，首先利用网络浅层提取低级特征冗余度较高的原理来去除产生有用信息较少的卷积核，其次利用网络深层提取特征通道的重要程度对输入特征的不同反应去除对输入特征不敏感的卷积核来达到降低模型参数量的目的，针对分类网络中浅层和深层作用不同的原理，对原有的剪枝方法进行改进。技术方案如下：
[0015]一种基于特征的秩和通道重要性的剪枝方法，包括下列步骤：
[0016]第一步：准备数据集，选定原始网络模型，划分为训练集和测试集；
[0017]第二步：通过数据集训练出收敛的未剪枝的原始网络模型，用数据集中的部分图片输入训练好的模型，
[0018]固定模型参数使用奇异值分解卷积核提取的特征图：
[0019]A＝UΛV
T
ꢀꢀꢀ
(1)
[0020]其中A为卷积核输出的特征图，U和V分别为左奇异矩阵和右奇异矩阵，Λ仅在主对角线上有值，值由特征值构成；根据奇异值分解结果得到的浅层网络卷积核提取出图片特征的平均秩o
ij
，代表第i层第j个卷积核对网络输入图片所有特征的平均秩，对当前层求出的秩进行进一步分析，对特征值计算信息率比重保留包含主要信息的秩数目，得到精确的秩数目，式(2)中Rank代表对第i层所有的卷积核提取出图片特征的平均秩o
ij
从大到小进行排序，S(o
i,:
)代表排序后的结果；对排序结果按照预设的剪枝比率乘以当前层卷积核总数来得到索引，排序结果中索引对应位置的秩即第一类阈值，大于第一类阈值的卷积核被保存下来，小于第一类阈值的卷积核被去除，即得到网络浅层的剪枝结果：
[0021]S(o
i,:
)＝Rank(o
ij
)
ꢀꢀꢀ
(2)
[0022]第三步：通过数据集训练加入通道注意力机制的未剪枝网络模型，用训练集输入训练好的模型，固定模型参数通过式(2)得到网络层中通道注意力机制对于不同层不同卷积核的权重向量w
i
，其中i代表第i层，Sigmoid代表归一化函数，H和W为输入特征的空间分
辨率，f1×1为1维卷积，I
i
为输入特征，然后计算网络得到的所有训练集图片对于卷积核的权重方差，将所有网络层卷积核的权重方差进行全局排序，按照预设定的剪枝比率乘以整个网络的卷积核总数得到索引，排序结果索引对应位置的方差即第二类阈值，将大于第二类阈值的数保留然后返回对应层的保留的数量即得到深层网络的剪枝结果：
[0023][0024]第四步：综合第二步和第三步得到的剪枝结果即可得到全局的不同层的剪枝结果，然后计算每一层剪枝之后剩余的通道数，改变原始网络每一层通道数为剪枝后的通道数，得到裁剪后的网络模型，再使用数据集重新训练，恢复精度，经过不断的梯度反向传播优化最终得到轻量化的最优模型；
[0025]第五步：效果检测：输入待分类图像，加载训练好的轻量化的最优模型，输出输入图像的分类结果。
[0026]第四步进行模型训练的方法可以如下：
[0027](1)学习率设为0.1；衰减间隔为80,120,160,180；
[0028](2)采用交叉熵函数作为损失函数；
[0029](3)采用SGD优化方法，权重衰减率为0.1，动量值为0.9。
[0030]本专利技术的有益效果如下：
[0031]1、在分类网络中根据浅层提取的特征都是如颜色、纹理和边缘等低级特征，具有高度的冗余性。根据预先设定的剪枝比率利用网络浅层卷积核输出特征保留主要信息平均秩的大小来确定网络浅层对应层的剪枝数目，输出特征平均秩较高的卷积核被保留，输出特征秩较低的卷积核被移除。该方法可以针对性的剪去网络浅层产生冗余信息的卷积核以获得一个满足网络提取特征最低要求的卷积核数目。
[0032]2、在分类网络中根据深层提取的特征都是语义级别的高级特征，根据不同的卷积核和对输入特征的敏感性程度不同，本专利技术使用通道注意力机制来学习深层网络中对应层不同卷积核的权重，网络计算得到的所有训练集图片的对于卷积核的权重方差，将所有网络层卷积核的权重方差进行全局排序，根据预先设定的剪枝比率确定深层的剪枝数目，该方法可以针对性的剪去网络深层对输入特征不敏感的卷积核来获得分类所需的最小卷积核数目。
[0033]3、将以上两种方法结合起来对网络整体进行剪枝，既得到一个满足网络提取低级特征最低要求的卷积核数目，又可得到网络深层所需的最小卷积核数目，最大程度上缩减网络参数且尽可能的保留分类性能。
附图说明
[0034]图1为所提出的适用于分类网络剪枝算法的网络整体结构图。
具体实施方式
[0035]一种适用于图片分类的剪枝算法，下面将结合附图中VGG16网络对实施方式进一步的详细描述：
[0036](1)数据准备：
[0037](a)划分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征的秩和通道重要性的剪枝方法，包括下列步骤：第一步：准备数据集，选定原始网络模型，划分为训练集和测试集。第二步：通过数据集训练出收敛的未剪枝的原始网络模型，用数据集中的部分图片输入训练好的模型，固定模型参数使用奇异值分解卷积核提取的特征图：A＝UΛV
T
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中A为卷积核输出的特征图，U和V分别为左奇异矩阵和右奇异矩阵，Λ仅在主对角线上有值，值由特征值构成；根据奇异值分解结果得到的浅层网络卷积核提取出图片特征的平均秩o
ij
，代表第i层第j个卷积核对网络输入图片所有特征的平均秩，对当前层求出的秩进行进一步分析，对特征值计算信息率比重保留包含主要信息的秩数目，得到精确的秩数目，式(2)中Rank代表对第i层所有的卷积核提取出图片特征的平均秩o
ij
从大到小进行排序，S(o
i,:
)代表排序后的结果；对排序结果按照预设的剪枝比率乘以当前层卷积核总数来得到索引，排序结果中索引对应位置的秩即第一类阈值，大于第一类阈值的卷积核被保存下来，小于第一类阈值的卷积核被去除，即得到网络浅层的剪枝结果：S(o
i,:
)＝Rank(o
ij
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ...

【专利技术属性】
技术研发人员：吕卫，汪瑶，褚晶辉，井佩光，
申请(专利权)人：天津大学，
类型：发明
国别省市：