神经网络的剪枝方法、装置、存储介质及电子设备制造方法及图纸

本申请实施例公开了一种神经网络的剪枝方法、装置、存储介质及电子设备，其中，本申请实施例通过计算原始神经网络模型中每一权重单元的重要程度，该权重单元包括权重向量，根据每一权重单元的重要程度，从原始神经网络模型中确定出待剪枝处理的目标权重单元，并对这些目标权重单元进行剪枝处理，得到稀疏神经网络模型。该权重向量为卷积核中沿通道方向上的权重构成的向量，以权重向量为单位进行剪枝，能够避免剪去整个滤波器导致的模型表达能力降低，同时还基于权重向量的结构化特性，避免剪枝的权重过于分散，提升了稀疏神经网络模型的结构度。的结构度。的结构度。

【技术实现步骤摘要】
神经网络的剪枝方法、装置、存储介质及电子设备


[0001]本申请涉及电子设备
，具体涉及一种神经网络的剪枝方法、装置、存储介质及电子设备。

技术介绍

[0002]以CNN(Convolutional Neural Networks，卷积神经网络)等神经网络为代表的深度学习算法在图像等领域中已被广泛应用于分类、识别、降噪、超分、风格迁移等任务，然而其庞大的结构严重限制了在功耗和资源受限的移动和嵌入式平台上的应用，因此必须对其进行一定压缩后才能部署，压缩后的神经网络的运算量和功耗都会降低。
[0003]目前，常用的神经网络压缩方式为剪枝，剪枝是指从完整的神经网络中系统的剪去部分权重，以减少网络中的参数量。但是如何选择要剪去的权重，才能得到既有较好的模型表达能力，同时又较为结构化的稀疏神经网络模型，成为亟待解决的问题。

技术实现思路

[0004]本申请实施例提供一种神经网络的剪枝方法、装置、存储介质及电子设备，能够得到既有较好的模型表达能力，同时具有较好的结构度的稀疏神经网络模型。
[0005]第一方面，本申请实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络的剪枝方法，其特征在于，包括：计算原始神经网络模型中每一权重单元的重要程度，其中，所述权重单元包括权重向量，所述权重向量为滤波器中沿通道方向上的权重构成的向量；根据每一权重单元的所述重要程度，从所述原始神经网络模型中确定出目标权重单元；对所述目标权重单元进行剪枝处理，得到稀疏神经网络模型。2.如权利要求1所述的方法，其特征在于，所述计算原始神经网络模型中每一权重单元的重要程度，包括：根据权重单元中的包含的权重值，计算得到每一权重单元的范数作为重要程度。3.如权利要求1所述的方法，其特征在于，所述计算原始神经网络模型中每一权重单元的重要程度，包括：获取所述原始神经网络模型的训练数据，从所述训练数据中得到每一权重在一次迭代中的梯度值；根据权重单元中每一权重的所述梯度值，计算得到每一权重单元对应的梯度值，作为重要程度。4.如权利要求1所述的方法，其特征在于，所述计算原始神经网络模型中每一权重单元的重要程度，包括：对于所述原始神经网络模型中的每一权重单元，使用训练样本对去掉所述权重单元后的原始神经网络模型进行一次前向计算，得到第一损失值；获取使用所述训练样本对所述原始神经网络模型进行前向计算得到的第二损失值；计算所述第二损失值与所述第一损失值之间差值的绝对值；根据所述绝对值确定所述权重单元对应的重要程度，其中，所述绝对值越大，则所述重要程度越高。5.如权利要求1所述的方法，其特征在于，所述对所述目标权重单元进行剪枝处理，得到稀疏神经网络模型之后，还包括：根据所述稀疏神经网络模型的参数量与所述稀疏神经网络模型的参数量，判断是否达到压缩比；若否，则计算所述稀疏神经网络模型中各权重的重要程度；根据所述稀疏神经网络模型中各权重的重要程度对所述稀疏神经网络模型进行剪枝处理，直至达到所述压缩比。6.如权利要求5所述的方法，其特征在于，所述根据每一权重单元的所述重要程度，从所述原始神经网络模型中确定出目标权重单元之前，还包括：根据所述原始神经网络模型的网络结构计算参数量，根...

【专利技术属性】
技术研发人员：赵娟萍，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：