神经网络模型的压缩方法及压缩装置、存储介质、设备制造方法及图纸

本发明专利技术公开了一种基于迁移学习的卷积神经网络模型压缩方法。该压缩方法包括：获取预训练好的迁移学习模型；对迁移学习模型的各个卷积层按照预定压缩比例进行压缩处理，以获得第一目标网络模型；利用目标图像数据集对第一目标网络模型进行迁移学习，以获得第一压缩目标模型；根据预定规则选择第一压缩目标模型中的部分卷积层进行压缩处理，以获得第二目标网络模型；利用目标图像数据集对第二目标网络模型进行迁移学习，以获得第二压缩目标模型。实现了迁移学习和卷积压缩的优势互补，在保证较高正确率的前提下，降低模型复杂度，提高运算速度，并针对部分卷积层进行压缩处理，可以进一步降低模型复杂度，避免模型正确率骤降。

【技术实现步骤摘要】
神经网络模型的压缩方法及压缩装置、存储介质、设备
本专利技术属于信息
，具体地讲，涉及基于迁移学习的卷积神经网络模型的压缩方法及压缩装置、计算机可读存储介质、计算机设备。
技术介绍
迁移学习的基本原理是将一个问题上训练好的模型通过简单的调整使其适用于一个新的问题。由于大型网络很复杂，训练一个复杂的卷积神经网络需要非常多的标注数据，而且需要比较长的时间。迁移学习就是为了解决大量标注数据和训练时间问题的一种变通处理方式。在数据量足够的情况下，迁移学习的效果不如完全重新训练。但是迁移学习所需要的训练时间和训练样本数要远远小于训练完整的模型。而且可以得到不错的准确率。迁移学习的其中一种普遍的用法，是用一个预训练好的图像分类模型，转化成目标检测模型、或者关键点回归模型，这么做的原因在于图像分类模型可以用图像分类的数据集来训练，我们比较容易获得大量的图像分类数据集，比如我们熟悉的Imagenet，而目标检测数据集的图片数量则少很多，关键点回归数据集的样本数量更少，如果不通过迁移学习，直接用这些少量的图片进行训练，效果就没法达到想要的精度，还有本文档来自技高网...

【技术保护点】
1.一种基于迁移学习的卷积神经网络模型的压缩方法，其特征在于，所述压缩方法包括：/n获取预训练好的迁移学习模型；/n对所述迁移学习模型的各个卷积层按照预定压缩比例进行压缩处理，以获得第一目标网络模型；/n利用目标图像数据集对所述第一目标网络模型进行迁移学习，以获得第一压缩目标模型；/n对所述第一压缩目标模型中的部分卷积层进行压缩处理，以获得第二目标网络模型；/n利用所述目标图像数据集对所述第二目标网络模型进行迁移学习，以获得第二压缩目标模型。/n

【技术特征摘要】
1.一种基于迁移学习的卷积神经网络模型的压缩方法，其特征在于，所述压缩方法包括：
获取预训练好的迁移学习模型；
对所述迁移学习模型的各个卷积层按照预定压缩比例进行压缩处理，以获得第一目标网络模型；
利用目标图像数据集对所述第一目标网络模型进行迁移学习，以获得第一压缩目标模型；
对所述第一压缩目标模型中的部分卷积层进行压缩处理，以获得第二目标网络模型；
利用所述目标图像数据集对所述第二目标网络模型进行迁移学习，以获得第二压缩目标模型。


2.根据权利要求1所述的基于迁移学习的卷积神经网络模型的压缩方法，其特征在于，在利用所述目标图像数据集对所述第一目标网络模型进行迁移学习，以获得第一压缩目标模型之后，所述压缩方法还包括：
判断所述第一压缩目标模型的整体压缩率是否达到第一预定值；
若否，则对所述第一压缩目标模型的各个卷积层按照预定压缩比例进行压缩处理，以获得更新后的第一目标网络模型；
利用所述目标图像数据集对更新后的第一目标网络模型进行迁移学习，以获得更新后的第一压缩目标模型；
重复上述步骤，直至更新后的第一压缩目标模型的整体压缩率达到所述第一预定值。


3.根据权利要求2所述的基于迁移学习的卷积神经网络模型的压缩方法，其特征在于，对第一压缩目标模型中的部分卷积层进行压缩处理，以获得第二目标网络模型的具体方法包括：
将整体压缩率达到所述第一预定值的第一压缩目标模型中卷积通道数大于第一阈值的卷积层作为待压缩卷积层；
将每个待压缩卷积层中的部分卷积通道关闭，并保留其他卷积通道，以获得第二目标网络模型，其中关闭的各个卷积通道的BN权重值均小于保留的各个卷积通道的BN权重值。


4.根据权利要求3所述的基于迁移学习的卷积神经网络模型的压缩方法，其特征在于，在所述利用目标图像数据集对第二目标网络模型进行迁移学习，以获得第二压缩目标模型之后，所述压缩方法还包括：
判断所述第二压缩目标模型的整体压缩率是否达到第二预定值；
若否，则将所述第二压缩目标模型中卷积通道数大于第二阈值的卷积层作为待压缩卷积层；
将所述第二压缩目标模型中的每个待压缩卷积层中的部分卷积通道关闭，并保留其他卷积通道，以获得更新后的第二目标网络模型，其中关闭的各个卷积通道的BN权重值均小于保留的各个卷积通道的BN权重值；
利用所述目标图像数据集对更新后的第二目标网络模型进行迁移学习，以获得更新后的第二压缩目标模型；
重复上述步骤，直至更新后的第二压缩目标模型的整体压缩率达到所述第二预定值。


5.根据权利要求1所述的基于迁移学习的卷积神经网络模型的压缩方法，其特征在于，在利用目标图像数据集对第二目标网络模型进行迁移学习，以获得第二压缩目标模型之后，所述压缩方法还包括：
判断所述第二压缩目标模型的整体压缩率是否达到第三预定值；
若否，对所述第二压缩目标模型的各个卷积层按照预定压缩比例进行压缩处理，以获得更新后的第一目标网络模型；
利用所述目标图像数据集对更新后的第一目标网络模型进行迁移学习，以获得更新后的第一压缩目标模型；
对更新后的第一压缩目标模型中的部分卷积层进行压缩处理，以获得更新后的第二目标网络模型；
利用所述目标图像数据集对更新后的第二目标网络模型进行迁移学习，以获得更新后的第二压缩目标模型；
重复上述步骤，直至更新后的第二压缩目标模型的整体压缩率达到所述第...

【专利技术属性】
技术研发人员：王卡风，高希彤，须成忠，
申请(专利权)人：深圳先进技术研究院，
类型：发明
国别省市：广东;44