一种神经网络剪枝方法及装置、存储介质制造方法及图纸

本申请实施例提供了一种神经网络剪枝方法及装置、存储介质，该方法包括：根据目标神经网络的门控矩阵得到生成器网络，生成器网络包括门控矩阵和目标神经网络；利用多媒体数据集对生成器网络进行生成对抗训练，得到训练后的生成器网络，并根据训练后的生成器网络确定目标神经网络对应的稀疏神经网络。标神经网络对应的稀疏神经网络。标神经网络对应的稀疏神经网络。

【技术实现步骤摘要】
一种神经网络剪枝方法及装置、存储介质


[0001]本申请涉及电子应用领域，尤其涉及一种神经网络剪枝方法及装置、存储介质。

技术介绍

[0002]以卷积神经网络(Convolutional Neural Network，CNN)、深度神经网络(Deep Neural Network，DNN)、循环神经网络(Recurrent Neural Network，RNN)等为代表的深度学习算法在机器视觉、自然语言处理、自动驾驶、机器人、数据分析等多媒体领域中得到了广泛的应用，然而其复杂的结构导致即使在推理时也需占用大量的功耗和CPU、内存、存储空间等计算资源，严重限制了此类技术在功耗和资源受限的移动和嵌入式平台上的部署，因而在此之前必须对其进行一定的压缩。
[0003]目前可以从目标神经网络中系统性地剪去部分权重较低的参数(也就是对目标神经网络进行剪枝)，在尽量少地损失精度的基础上，减少神经网络的参数量，来达成降低各项资源占用的益处。然而目前的对神经网络的剪枝方法还有待进一步提高识别权重较低的参数的准确性。
专利技术内容
[000本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络剪枝方法，其特征在于，所述方法包括：根据目标神经网络的门控矩阵得到生成器网络，所述生成器网络包括所述门控矩阵和所述目标神经网络；利用多媒体数据集对所述生成器网络进行生成对抗训练，得到训练后的生成器网络，并根据训练后的生成器网络确定所述目标神经网络对应的稀疏神经网络。2.根据权利要求1所述的方法，其特征在于，利用多媒体数据集对所述生成器网络进行生成对抗训练，得到训练后的生成器网络，包括：循环将所述多媒体数据集中的多媒体数据分批次输入所述目标神经网络和所述生成器网络中，输出所述目标神经网络对应的第一样本和所述生成器网络对应的第二样本；利用判别器网络识别所述第一样本和所述第二样本，得到第一识别结果数据；基于所述第一识别结果数据、所述第一样本的类别和所述第二样本的类别对所述判别器网络进行训练，得到训练后的判别器网络；基于所述训练后的判别器网络和所述第二样本对所述生成器网络进行训练，直至满足循环退出条件时，得到训练后的生成器网络。3.根据权利要求2所述的方法，其特征在于，所述基于所述第一识别结果数据、所述第一样本的类别和所述第二样本的类别对所述判别器网络进行训练，得到训练后的判别器网络，包括：基于所述第一识别结果数据、所述第一样本的类别和所述第二样本的类别对所述判别器网络的权重进行训练，得到训练后的判别器网络。4.根据权利要求2所述的方法，其特征在于，所述基于所述训练后的判别器网络和所述第二样本对所述生成器网络进行训练，直至满足循环退出条件时，得到训练后的生成器网络，包括：基于所述训练后的判别器网络对所述第二样本进行识别，得到第二识别结果数据；基于所述第二识别结果数据训练所述生成器网络的门控矩阵，在满足所述循环退出条件时，将训练后的门控矩阵对应的生成器网络确定为所述训练后的生成器网络。5.根据权利要求2所述的方法，其特征在于，所述基于所述训练后的判别器网络和所述第二样本对所述生成器网络进行训练，直至满足循环退出条件时，得到训练后的生成器网络，包括：基于所述训练后的判别器网络对所述第二样本进行识别，得到第二识别结果数据；基于所述第二识别结果数据训练所述生成器网络的门控矩阵和所述生成器网络的权重，在满足所述循环退出条件，得到所述训练后的生成器网络。6.根据权利要求1、2、4或5所述的方法，其特征在于，所述循环退出条件为以下任一种：循环次数达到预设次数阈值、所述生成器网络收敛。7.根据权利要求1所述的方法，其特征在于，所述根据目标神经网络的门控矩阵得到生成器网络，包括：复制所述目标神经网络和目标所述神经网络的权重矩阵，得到神经网络...

【专利技术属性】
技术研发人员：孙亚锋，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：