神经网络剪枝方法、装置、电子设备以及存储介质制造方法及图纸

本申请公开了一种神经网络剪枝方法、装置、电子设备以及存储介质，涉及计算机技术领域。该方法包括：获取待剪枝网络，并获取样本数据集，待剪枝网络包括浅层网络、深层网络及剪枝监督网络，样本数据集中包括多个样本数据；将多个样本数据输入浅层网络，获得浅层网络输出的初始特征；将初始特征输入剪枝监督网络，获得剪枝监督网络输出的针对深层网络的滤波器掩码；将滤波器掩码输入深层网络，以基于滤波器掩码对深层网络进行剪枝，获得剪枝后的网络。本申请通过将待剪枝网络中浅层网络的滤波器信息通过滤波器掩码传递至待剪枝网络中深层网络，进而对深层网络基于滤波器掩码进自监督约束地剪枝，提升了剪枝网络的性能和网络训练的效率。练的效率。练的效率。

【技术实现步骤摘要】
神经网络剪枝方法、装置、电子设备以及存储介质


[0001]本申请涉及计算机
，更具体地，涉及一种神经网络剪枝方法、装置、电子设备以及存储介质。

技术介绍

[0002]随着深度学习神经网络的不断发展，大型神经网络在计算机视觉领域逐渐体现了其有效性和高性能，在不同的计算机视觉任务上，包括分类、定位、检测、分割等都有着非常优秀的表现。然而，目前大部分神经网络的构造都十分复杂，且分支众多，在计算上耗费大量的资源和时间，并且为实际的部署带来了很大的压力。

技术实现思路

[0003]鉴于上述问题，本申请提出了一种神经网络剪枝方法、装置、电子设备以及存储介质，可以通过将待剪枝网络中浅层网络的滤波器信息通过滤波器掩码传递至待剪枝网络中深层网络，进而对深层网络基于滤波器掩码进自监督约束的剪枝，提升了剪枝网络的性能和网络训练的效率，提升了网络的计算效率，缓解了网络的部署压力。
[0004]第一方面，本申请实施例提供了一种神经网络剪枝方法，所述方法包括：获取待剪枝网络，并获取样本数据集，其中，所述待剪枝网络包括浅层网络、深层网络以及剪枝本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络剪枝方法，其特征在于，所述方法包括：获取待剪枝网络，并获取样本数据集，其中，所述待剪枝网络包括浅层网络、深层网络以及剪枝监督网络，所述样本数据集中包括多个样本数据；将所述多个样本数据输入所述浅层网络，获得所述浅层网络输出的初始特征；将所述初始特征输入所述剪枝监督网络，获得所述剪枝监督网络输出的针对所述深层网络的滤波器掩码；将所述滤波器掩码输入所述深层网络，以基于所述滤波器掩码对所述深层网络进行剪枝，获得剪枝后的网络。2.根据权利要求1所述的方法，其特征在于，所述将所述滤波器掩码输入所述深层网络，以基于所述滤波器掩码对所述深层网络进行剪枝，获得剪枝后的网络，包括：将所述滤波器掩码与所述深层网络中的滤波器进行点乘，确定所述深层网络中被激活的滤波器；基于所述浅层网络、所述深层网络中被激活的滤波器以及所述剪枝监督网络，获得所述剪枝后的网络。3.根据权利要求2所述的方法，其特征在于，所述深层网络中被激活的滤波器与所述浅层网络中被激活的滤波器的相似度大于相似度阈值。4.根据权利要求2所述的方法，其特征在于，在所述基于所述浅层网络、所述深层网络中被激活的滤波器以及所述剪枝监督网络，获得所述剪枝后的网络之后，还包括：将所述初始特征输入所述深层网络，获得所述深层网络中被激活的滤波器输出的深层特征；基于所述深层特征对所述剪枝后的网络进行反向传播，更新所述剪枝后的网络的参数，直至训练所述待剪枝网络的次数达到预设训练次数，获得已训练的剪枝后的网络。5.根据权利要求4所述的方法，其特征在于，在所述基于所述深层特征对所述剪枝后的网络进行反向传播，更新所述剪枝后的网络的参数，直至训练所述待剪枝网络的次数达到预设训练次数，获得已训练的剪枝后的网络之后，还包括：将所述已训练的剪枝后的网络进行量化处理，获得量化后的网络；将所述量化后的网络部署在目标平台。6.根据权利要求1所述的方法，其特征在于，在所述将所述滤波器掩码输入所述深层网络，以基于所述滤波器掩码对所述深层网络进行剪枝，获得剪枝后的网络之前，还包括：将所述滤波器掩码乘以自...

【专利技术属性】
技术研发人员：才贺，冯天鹏，张召凯，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：