【技术实现步骤摘要】
本申请涉及神经网络压缩，特别是涉及一种网络压缩方法、装置、计算机设备、存储介质和计算机程序产品。
技术介绍
1、随着神经网络在图像分类、目标检测、语义分割等领域的发展，神经网络的规模也在不断增加，对硬件的运算能力、存储和功耗都提出了严峻的挑战。为有效降低网络冗余，一些研究开始采用剪枝、量化、权重分解等网络压缩方法对神经网络进行压缩。
2、现有的基于剪枝的网络压缩方法，例如结构化剪枝方法，是通过剪去网络中的结构(比如通道和滤波器等)来增加网络压缩率的。但是，这种结构化剪枝方法进行剪枝的粒度较大，剪枝的自由度较差，导致压缩后的神经网络的准确度也会下降。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种能够提高压缩后网络的准确度的网络压缩方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
2、第一方面，本申请提供了一种网络压缩方法。所述方法包括：
3、对采集的图像中的正常设备和缺陷设备进行标注，得到样本图像；
4、通过所述样本图像，对目标检测网络进行训练，得到所述预训练的目标检测网络；
5、根据所述预训练的目标检测网络中各网络参数的重要度，对所述预训练的目标检测网络进行剪枝处理，得到剪枝后的目标检测网络；
6、对所述剪枝后的目标检测网络进行稀疏蒸馏处理，得到蒸馏后的目标检测网络；
7、对所述剪枝后的目标检测网络的网络参数和所述蒸馏后的目标检测网络的网络参数进行融合，得到融合后的目标检测
8、根据所述融合后的目标检测网络中各滤波器的重要度，对所述融合后的目标检测网络进行滤波器剪枝，得到压缩后的目标检测网络。
9、在其中一个实施例中，对所述剪枝后的目标检测网络进行稀疏蒸馏处理，得到蒸馏后的目标检测网络，包括：
10、根据教师网络与学生网络之间的差异，得到所述教师网络与所述学生网络之间的蒸馏损失值；所述教师网络和所述学生网络为所述预训练的目标检测网络进行剪枝处理过程中不同时期的剪枝后的目标检测网络；
11、根据标签值与所述学生网络的预测值之间的差异，得到所述学生网络的分类损失值；
12、根据所述蒸馏损失值和所述分类损失值，得到所述学生网络的稀疏蒸馏损失值；
13、通过所述稀疏蒸馏损失值，对所述学生网络进行知识蒸馏训练，得到所述蒸馏后的目标检测网络。
14、在其中一个实施例中，对所述剪枝后的目标检测网络的网络参数和所述蒸馏后的目标检测网络的网络参数进行融合，得到融合后的目标检测网络，包括：
15、将所述剪枝后的目标检测网络的网络参数和所述蒸馏后的目标检测网络的网络参数，输入至网络参数融合模型，得到融合后的网络参数；
16、根据所述融合后的网络参数，得到所述融合后的目标检测网络。
17、在其中一个实施例中，根据所述预训练的目标检测网络中各网络参数的重要度，对所述预训练的目标检测网络进行剪枝处理，得到剪枝后的目标检测网络，包括：
18、根据所述预训练的目标检测网络中各网络参数的重要度，对所述各网络参数进行排序处理，得到所述各网络参数对应的排序后参数；
19、根据所述排序后参数和所述预训练的目标检测网络的参数剪枝率，确定所述预训练的目标检测网络的参数剪枝阈值；
20、根据所述参数剪枝阈值，对所述预训练的目标检测网络中的网络参数进行掩码处理，得到所述剪枝后的目标检测网络。
21、在其中一个实施例中，根据所述融合后的目标检测网络中各滤波器的重要度，对所述融合后的目标检测网络进行滤波器剪枝，得到压缩后的目标检测网络，包括：
22、根据所述融合后的目标检测网络中各滤波器的重要度，对所述各滤波器进行排序处理，得到所述各滤波器对应的排序后滤波器；
23、根据预设的滤波器剪枝率和所述排序后滤波器，确定所述融合后的目标检测网络的滤波器剪枝阈值；
24、根据所述滤波器剪枝阈值，对所述融合后的目标检测网络中的滤波器进行剪枝处理，得到所述压缩后的目标检测网络。
25、在其中一个实施例中，在根据所述融合后的目标检测网络中各滤波器的重要度，对所述融合后的目标检测网络进行滤波器剪枝，得到压缩后的目标检测网络之后，还包括：
26、通过所述样本图像，对所述压缩后的目标检测网络进行训练，得到训练完成的目标检测模型。
27、第二方面，本申请还提供了一种目标检测方法。所述方法包括：
28、获取训练完成的目标检测模型；其中，所述训练完成的目标检测模型通过如第一方面所述的网络压缩方法处理得到；
29、通过所述训练完成的目标检测模型对采集的目标图像进行目标检测处理，得到所述目标图像的目标检测结果。
30、第三方面，本申请还提供了一种网络压缩装置。所述装置包括：
31、图像标注模块，用于对采集的图像中的正常设备和缺陷设备进行标注，得到样本图像；
32、网络预训练模块，用于通过所述样本图像，对目标检测网络进行训练，得到所述预训练的目标检测网络；
33、网络剪枝模块，用于根据所述预训练的目标检测网络中各网络参数的重要度，对所述预训练的目标检测网络进行剪枝处理，得到剪枝后的目标检测网络；
34、网络蒸馏模块，用于对所述剪枝后的目标检测网络进行稀疏蒸馏处理，得到蒸馏后的目标检测网络；
35、网络融合模块，用于对所述剪枝后的目标检测网络的网络参数和所述蒸馏后的目标检测网络的网络参数进行融合，得到融合后的目标检测网络；
36、滤波器剪枝模块，用于根据所述融合后的目标检测网络中各滤波器的重要度，对所述融合后的目标检测网络进行滤波器剪枝，得到压缩后的目标检测网络。
37、第四方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
38、对采集的图像中的正常设备和缺陷设备进行标注，得到样本图像；
39、通过所述样本图像，对目标检测网络进行训练，得到所述预训练的目标检测网络；
40、根据所述预训练的目标检测网络中各网络参数的重要度，对所述预训练的目标检测网络进行剪枝处理，得到剪枝后的目标检测网络；
41、对所述剪枝后的目标检测网络进行稀疏蒸馏处理，得到蒸馏后的目标检测网络；
42、对所述剪枝后的目标检测网络的网络参数和所述蒸馏后的目标检测网络的网络参数进行融合，得到融合后的目标检测网络；
43、根据所述融合后的目标检测网络中各滤波器的重要度，对所述融合后的目标检测网络进行滤波器剪枝，得到压缩后的目标检测网络。
44、第五方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
本文档来自技高网...
【技术保护点】
1.一种网络压缩方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述对所述剪枝后的目标检测网络进行稀疏蒸馏处理，得到蒸馏后的目标检测网络，包括：
3.根据权利要求1所述的方法，其特征在于，所述对所述剪枝后的目标检测网络的网络参数和所述蒸馏后的目标检测网络的网络参数进行融合，得到融合后的目标检测网络，包括：
4.根据权利要求1所述的方法，其特征在于，所述根据所述预训练的目标检测网络中各网络参数的重要度，对所述预训练的目标检测网络进行剪枝处理，得到剪枝后的目标检测网络，包括：
5.根据权利要求1所述的方法，其特征在于，所述根据所述融合后的目标检测网络中各滤波器的重要度，对所述融合后的目标检测网络进行滤波器剪枝，得到压缩后的目标检测网络，包括：
6.根据权利要求1所述的方法，其特征在于，在根据所述融合后的目标检测网络中各滤波器的重要度，对所述融合后的目标检测网络进行滤波器剪枝，得到压缩后的目标检测网络之后，还包括：
7.一种目标检测方法，其特征在于，所述方法包括：
8.一种网
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6或7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6或7中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种网络压缩方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述对所述剪枝后的目标检测网络进行稀疏蒸馏处理，得到蒸馏后的目标检测网络，包括：
3.根据权利要求1所述的方法，其特征在于，所述对所述剪枝后的目标检测网络的网络参数和所述蒸馏后的目标检测网络的网络参数进行融合，得到融合后的目标检测网络，包括：
4.根据权利要求1所述的方法，其特征在于，所述根据所述预训练的目标检测网络中各网络参数的重要度，对所述预训练的目标检测网络进行剪枝处理，得到剪枝后的目标检测网络，包括：
5.根据权利要求1所述的方法，其特征在于，所述根据所述融合后的目标检测网络中各滤波器的重要度，对所述融合后的目标检测网络进行滤...
【专利技术属性】
技术研发人员：叶广贤，翟瑞聪，李茹，张嘉伟，卢嵩，原瀚杰，何勇，陆林，陈亮，谭海傲，姜天杭，廖高峰，郑耀华，董承熙，潘绮彤，
申请(专利权)人：南方电网通用航空服务有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。