基于结构冗余检测的卷积神经网络模型剪枝方法技术

本发明专利技术提供一种基于结构冗余检测的卷积神经网络模型剪枝方法，其中：首先在训练集上训练卷积神经网络模型，并在验证集上对其进行评估；然后尝试剪枝神经网络模型的不同子结构并微调其余结构，以检测被剪枝的子结构的冗余性，在每次迭代中，如果剪枝后的神经网络模型无法通过微调重新获得大部分丢失的精度，则将剪枝的结构还原。重复该方法，直到模型所有子结构的冗余性都被检验；最后在训练集和验证集上重新初始化并训练剪枝后的模型，得到最终的优化模型。本发明专利技术减少了神经网络的资源消耗，改善了现有模型剪枝方法实现复杂的问题。

Pruning method of convolutional neural network model based on structural redundancy detection

【技术实现步骤摘要】
基于结构冗余检测的卷积神经网络模型剪枝方法
本专利技术属于深度卷积神经网络模型
的一种压缩技术，具体地，涉及一种基于结构冗余检测的卷积神经网络模型剪枝方法，通过模型剪枝方式对卷积神经网络模型进行压缩以及加速模型推演。
技术介绍
深度学习在计算机视觉、语音和自然语言处理等领域都取得了巨大的成功。在图像识别、目标检测、语义分割、行人检测、行人重识别、人脸检测、人脸识别、语音识别、语言翻译等任务中都得到了应用，并且取得了较好的效果。深度卷积神经网络模型对硬盘存储、内存带宽和计算资源占用很高，并且有向着网络层数更深，网络参数更多的发展趋势，因此深度卷积神经网络模型很难在手机、自动驾驶车辆和手环等资源受限的平台上部署。为了将深度卷积神经网络模型部署到资源受限的平台，就需要对深度卷积神经网络模型进行压缩，在保证其性能的情况下，降低其模型尺寸、模型参数量和模型计算量。现有的压缩技术，通常采用非结构化剪枝、固定模型剪枝或者基于稀疏正则训练的方式，这些方式通常存在如下问题：1、非结构化剪枝方式如DeepCompression虽然可以获得较好本文档来自技高网...

【技术保护点】
1.一种基于结构冗余检测的卷积神经网络模型剪枝方法，其特征在于，包括：/nS1：按顺序选择卷积神经网络中的子结构；/nS2：检测卷积神经网络子结构的冗余性，如果该子结构为冗余结构，则执行S3；如果该子结构不是冗余结构，则返回S1重新开始；/nS3：剪枝卷积神经网络的冗余结构，重复执行S1和S2，直至对卷积神经网络中所有冗余子结构完成剪枝，并对得到的剪枝后的卷积神经网络进行训练，得到最终的优化模型。/n

【技术特征摘要】
1.一种基于结构冗余检测的卷积神经网络模型剪枝方法，其特征在于，包括：
S1：按顺序选择卷积神经网络中的子结构；
S2：检测卷积神经网络子结构的冗余性，如果该子结构为冗余结构，则执行S3；如果该子结构不是冗余结构，则返回S1重新开始；
S3：剪枝卷积神经网络的冗余结构，重复执行S1和S2，直至对卷积神经网络中所有冗余子结构完成剪枝，并对得到的剪枝后的卷积神经网络进行训练，得到最终的优化模型。


2.根据权利要求1所述的基于结构冗余检测的卷积神经网络模型剪枝方法，其特征在于，所述S1中，子结构的选择依据从大到小、从后到前的顺序原则。


3.根据权利要求1所述的基于结构冗余检测的卷积神经网络模型剪枝方法，其特征在于，所述S1中，卷积神经网络为训练后的卷积神经网络，其中，采用批次训练和随机梯度下降的方法，在训练集上对卷积神经网络进行训练，并在训练的同时加入正则和动量。


4.根据权利要求1所述的基于结构冗余检测的卷积神经网络模型剪枝方法，其特征在于，所述S2中，卷积神经网络子结构的冗余性的检测方法为：
先将选择的子结构从卷积神经网络中去除，然后将因为去除该子结构而权重矩阵形状发生变化的结构重新初始化，再微调卷积神经网络，得到微调后的网络权重及其精度；如果微调后的网络精度大于阈值T1，且微调后的网络精度与去除子结构前的网络精度的差小于阈值T2，则说明该选择的子结构是冗余结构，否则，则说明该选择的子结构不是冗余结构。


5.根据权利要求4所述的基于结构冗余检测的卷积神经网络模型剪枝方法，其特征在于，所述T1设为未剪枝网络精度的95％～98％，所述T2设为未剪枝...

【专利技术属性】
技术研发人员：宋利，甘文耀，陈立，解蓉，李琳，冯亚楠，
申请(专利权)人：上海交通大学，咪咕文化科技有限公司，
类型：发明
国别省市：上海;31