一种神经网络剪枝方法及装置、存储介质制造方法及图纸

本申请实施例提供了一种神经网络剪枝方法及装置、存储介质，该方法包括：根据目标神经网络的门控矩阵得到生成器网络，生成器网络包括门控矩阵和目标神经网络；利用多媒体数据集对生成器网络进行生成对抗训练，得到训练后的生成器网络，并根据训练后的生成器网络确定目标神经网络对应的稀疏神经网络。标神经网络对应的稀疏神经网络。标神经网络对应的稀疏神经网络。

【技术实现步骤摘要】
一种神经网络剪枝方法及装置、存储介质


[0001]本申请涉及电子应用领域，尤其涉及一种神经网络剪枝方法及装置、存储介质。

技术介绍

[0002]以卷积神经网络(Convolutional Neural Network，CNN)、深度神经网络(Deep Neural Network，DNN)、循环神经网络(Recurrent Neural Network，RNN)等为代表的深度学习算法在机器视觉、自然语言处理、自动驾驶、机器人、数据分析等多媒体领域中得到了广泛的应用，然而其复杂的结构导致即使在推理时也需占用大量的功耗和CPU、内存、存储空间等计算资源，严重限制了此类技术在功耗和资源受限的移动和嵌入式平台上的部署，因而在此之前必须对其进行一定的压缩。
[0003]目前可以从目标神经网络中系统性地剪去部分权重较低的参数(也就是对目标神经网络进行剪枝)，在尽量少地损失精度的基础上，减少神经网络的参数量，来达成降低各项资源占用的益处。然而目前的对神经网络的剪枝方法还有待进一步提高识别权重较低的参数的准确性。

技术实现思路

[0004]本申请实施例提供一种神经网络剪枝方法及装置、存储介质，有利于较为准确地剪去神经网络中权重较低的参数。
[0005]本申请的技术方案是这样实现的：
[0006]第一方面，本申请实施例提出一种神经网络剪枝方法，所述方法包括：
[0007]根据目标神经网络的门控矩阵得到生成器网络，所述生成器网络包括所述门控矩阵和所述目标神经网络；
[0008]利用多媒体数据集对所述生成器网络进行生成对抗训练，得到训练后的生成器网络，并根据训练后的生成器网络确定所述目标神经网络对应的稀疏神经网络。
[0009]第二方面，本申请实施例提出一种神经网络剪枝装置，所述装置包括：
[0010]创建单元，用于根据目标神经网络的门控矩阵得到生成器网络，所述生成器网络包括所述门控矩阵和所述目标神经网络；
[0011]训练单元，用于利用多媒体数据集对所述生成器网络进行生成对抗训练，得到训练后的生成器网络，并根据训练后的生成器网络确定所述目标神经网络对应的稀疏神经网络。
[0012]第三方面，本申请实施例提出一种神经网络剪枝装置，所述装置包括：处理器、存储器；所述处理器执行存储器存储的运行程序时实现如上述任一项所述的方法。
[0013]第四方面，本申请实施例提出一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一项所述的方法。
[0014]本申请实施例提供了一种神经网络剪枝方法及装置、存储介质，该方法包括：根据目标神经网络的门控矩阵得到生成器网络，生成器网络包括门控矩阵和目标神经网络；利
用多媒体数据集对生成器网络进行生成对抗训练，得到训练后的生成器网络，并根据训练后的生成器网络确定目标神经网络对应的稀疏神经网络。采用上述实现方案，基于目标神经网络的门控矩阵重建一个生成器网络，利用多媒体数据集对生成器网络进行生成对抗训练，训练生成器网络中表征权重重要性的门控矩阵。本申请提供的神经网络剪枝方法能够基于模型和数据，将剪枝建模为无监督学习问题，可以自动学习到当前场景下最优的剪枝策略，因此有利于提升稀疏神经网络的精度和表达能力，进而有利于较为准确地剪去神经网络中权重较低的参数。
附图说明
[0015]图1为一种神经网络剪枝方法的示意图一；
[0016]图2为一种神经网络剪枝方法的示意图二；
[0017]图3为本申请实施例提供的一种神经网络剪枝方法的流程图；
[0018]图4为本申请实施例提供的一种示例性的；
[0019]图5为本申请实施例提供的一种神经网络剪枝装置1的结构示意图一；
[0020]图6为本申请实施例提供的一种神经网络剪枝装置1的结构示意图二。
具体实施方式
[0021]应当理解，此处描述的具体实施例仅仅用以解释本申请。并不用于限定本申请。
[0022]准确识别并剪去神经网络中确实为冗余的权重，是剪枝技术的长期研究课题。所谓“剪枝”，具体指的是评估神经网络中的参数对神经网络的重要程度，并在尽量不影响网络性能的前提下，从神经网络中删除重要程度低的参数，以减少神经网络的参数量。例如，在神经网络中，卷积层到全连接层存在大量冗余参数，大多是神经元被激活后的输出值区域为0，即使将这些神经元剔除也能够表达出神经网络的模型特征，神经网络剪枝即可从神经网络中删除上述被激活后输出值区域为0的神经元。
[0023]本申请实施例中，在神经网络中，当门控矩阵中的元素值为0时，表征对应的神经元在神经网络被激活后的输出值区域为0，此时通过门控矩阵和神经网络中的权重矩阵的相乘操作，可以将该神经元从神经网络中被剔除，进而完成了神经网络剪枝的操作。
[0024]示例性的，至少存在以下两种神经网络剪枝方法，具体的；
[0025]第一种，在神经网络训练过程中采用基于梯度下降法的流程，逐步反向传播误差来更新权重，根据“梯度下降越不显著的权重越不活跃，重要性越低”的经验，剪去梯度值低于某阈值的权重(或权重组，例如权重条、CNN中的滤波器、特征图等，这样做可重复利用训练过程本身已经算出的梯度数值，从而降低剪枝操作相关的计算量。具体的，如图1所示，首先训练目标神经网络结构并存储梯度；识别并剪去梯度较小的权重；之后继续训练稀疏网络，训练完成后判断精度是否达标或者是否达到最大步数，若精度达标或者达到最大步数则结束，若精度未达标且未达到最大步数，则继续训练稀疏网络。
[0026]然而，随着神经网络的深度不断加大，不活跃的权重并非一定不重要。其次，对于结构化程度较高的DNN，因其相比早期浅层神经网络包含更高维度的权重矩阵，故根据数学推导，在剪枝时为确保准确性，不能直接使用梯度，而需进行逆矩阵、黑塞矩阵(Hessian matrix)计算等大型矩阵运算，计算量过大，在当前以深度学习为主的趋势下显得不合时
宜。再次，对于已经完成训练且未存储其最终数个步骤之梯度数据的目标神经网络，通常仅有最终权重数据，该方法需要首先在已经收敛的目标神经网络上使用原始数据集和代码重启训练，以获取梯度信息。一方面，这些原始数据和代码本身可能难以获取，或需要手动复现，难以确保准确性和一致性，另一方面，在已经收敛的网络上训练容易导致过拟合，再去剪枝效果较差。
[0027]第二种，根据“权重数值越小越不重要”的经验法则，将整个网络中绝对值较小(例如低于某一阈值，或处于从大到小排序较后位置)的权重，或L0、L1和/或L2范数较小的权重组视为不重要，并剪去。这一类方法计算量较小，易于理解，开发难度较低。具体的，如图2所示，首先训练目标神经网络结构并存储梯度；识别并剪去范数较小的权重；之后继续训练稀疏网络，训练完成后判断精度是否达标或者是否达到最大步数，若精度达标或者达到最大步数则结束，若精度未达标且未达到最大步数，则继续训练稀疏网络。
[0028]然而，数值大小与重要性并不一定能画上等号本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络剪枝方法，其特征在于，所述方法包括：根据目标神经网络的门控矩阵得到生成器网络，所述生成器网络包括所述门控矩阵和所述目标神经网络；利用多媒体数据集对所述生成器网络进行生成对抗训练，得到训练后的生成器网络，并根据训练后的生成器网络确定所述目标神经网络对应的稀疏神经网络。2.根据权利要求1所述的方法，其特征在于，利用多媒体数据集对所述生成器网络进行生成对抗训练，得到训练后的生成器网络，包括：循环将所述多媒体数据集中的多媒体数据分批次输入所述目标神经网络和所述生成器网络中，输出所述目标神经网络对应的第一样本和所述生成器网络对应的第二样本；利用判别器网络识别所述第一样本和所述第二样本，得到第一识别结果数据；基于所述第一识别结果数据、所述第一样本的类别和所述第二样本的类别对所述判别器网络进行训练，得到训练后的判别器网络；基于所述训练后的判别器网络和所述第二样本对所述生成器网络进行训练，直至满足循环退出条件时，得到训练后的生成器网络。3.根据权利要求2所述的方法，其特征在于，所述基于所述第一识别结果数据、所述第一样本的类别和所述第二样本的类别对所述判别器网络进行训练，得到训练后的判别器网络，包括：基于所述第一识别结果数据、所述第一样本的类别和所述第二样本的类别对所述判别器网络的权重进行训练，得到训练后的判别器网络。4.根据权利要求2所述的方法，其特征在于，所述基于所述训练后的判别器网络和所述第二样本对所述生成器网络进行训练，直至满足循环退出条件时，得到训练后的生成器网络，包括：基于所述训练后的判别器网络对所述第二样本进行识别，得到第二识别结果数据；基于所述第二识别结果数据训练所述生成器网络的门控矩阵，在满足所述循环退出条件时，将训练后的门控矩阵对应的生成器网络确定为所述训练后的生成器网络。5.根据权利要求2所述的方法，其特征在于，所述基于所述训练后的判别器网络和所述第二样本对所述生成器网络进行训练，直至满足循环退出条件时，得到训练后的生成器网络，包括：基于所述训练后的判别器网络对所述第二样本进行识别，得到第二识别结果数据；基于所述第二识别结果数据训练所述生成器网络的门控矩阵和所述生成器网络的权重，在满足所述循环退出条件，得到所述训练后的生成器网络。6.根据权利要求1、2、4或5所述的方法，其特征在于，所述循环退出条件为以下任一种：循环次数达到预设次数阈值、所述生成器网络收敛。7.根据权利要求1所述的方法，其特征在于，所述根据目标神经网络的门控矩阵得到生成器网络，包括：复制所述目标神经网络和目标所述神经网络的权重矩阵，得到神经网络...

【专利技术属性】
技术研发人员：孙亚锋，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：