神经网络的剪枝处理方法、装置、设备及介质制造方法及图纸

本公开实施例涉及一种神经网络的剪枝处理方法、装置、设备及介质，其中该方法包括：基于第一剪枝方式获取与原始神经网络待剪枝层的权重矩阵对应的第一稀疏约束矩阵，并根据第一稀疏约束矩阵获取剪枝处理后的第一稀疏神经网络；基于第二剪枝方式获取与第一稀疏神经网络待剪枝层的权重矩阵对应的第二稀疏约束矩阵，并根据第二稀疏约束矩阵获取剪枝处理后的第二稀疏神经网络。可见，本公开实施例能够自适应的对原始神经网络进行剪枝处理，提高了剪枝处理的效率，并且使得剪枝处理合理化，较好的平衡了剪枝的实际速度收益以及剪枝之后神经网络的精度，提高了剪枝性能，同时占用较少的移动终端算力资源、存储资源等，提高移动终端进行数据处理的性能。终端进行数据处理的性能。终端进行数据处理的性能。

【技术实现步骤摘要】
神经网络的剪枝处理方法、装置、设备及介质


[0001]本公开涉及计算机
，尤其涉及一种神经网络的剪枝处理方法、装置、设备及介质。

技术介绍

[0002]基于神经网络的人工智能技术在移动终端上的应用，智能移动终端飞速发展满足人们的各种应用需求。其中，其主要实现技术包括基于训练好的神经网络模型数据在视频处理语言识别、图像识别与理解、游戏视觉等应用领域的数据处理。基于移动终端有限的计算资源，考虑到绝大多数的卷积神经网络均存在一定程度上的参数冗余，因此通过剪枝去除神经网络中各层冗余的卷积核或卷积核上的神经元，在移动终端上得到计算资源和存储资源更小的神经网络。
[0003]为了进一步提高移动终端的计算性能，综合结构化剪枝的加速收益优势和非结构化剪枝的性能优势，在剪枝算法同时进行两种不同粒度的剪枝模式。但是在具体实验过程中，发现同时进行两种不同粒度的剪枝模式的计算过程，由于计算干扰会导致存在稀疏矩阵收敛困难的问题，导致实际的剪枝性能很差，剪枝处理效率较低。

技术实现思路

[0004]为了解决上述技术问题或者至少部分地解决上述技本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络的剪枝处理方法，其特征在于，包括：基于第一剪枝方式获取与原始神经网络待剪枝层的权重矩阵对应的第一稀疏约束矩阵，并根据所述第一稀疏约束矩阵获取剪枝处理后的第一稀疏神经网络；基于第二剪枝方式获取与所述第一稀疏神经网络待剪枝层的权重矩阵对应的第二稀疏约束矩阵，并根据所述第二稀疏约束矩阵获取剪枝处理后的第二稀疏神经网络。2.根据权利要求1所述的方法，其特征在于，还包括：设置两个依次串联执行的第一剪枝方式和第二剪枝方式，其中，所述第一剪枝方式为连接剪枝方式，以及所述第二剪枝方式为模式剪枝方式；或者，所述第一剪枝方式为模式剪枝方式，以及所述第二剪枝方式为连接剪枝方式。3.根据权利要求1所述的方法，其特征在于，所述第一剪枝方式为连接剪枝方式，所述基于所述第一剪枝方式获取与所述原始神经网络待剪枝层的权重矩阵对应的第一稀疏约束矩阵，包括：基于交替方向乘子法获取与所述原始神经网络待剪枝层的初始权重矩阵对应的连接剪枝方式初始约束矩阵；基于预设的原始损失函数和所述连接剪枝方式初始约束矩阵作为目标损失函数进行训练，在预设次数的迭代训练后获取权重更新后的第一候选神经网络以及对应的第一更新权重矩阵；基于交替方向乘子法获取与所述第一更新权重矩阵对应的第一稀疏约束矩阵。4.根据权利要求3所述的方法，其特征在于，所述根据所述第一稀疏约束矩阵获取剪枝处理后的第一稀疏神经网络，包括：将所述第一候选神经网络对应的第一更新权重矩阵乘以所述第一稀疏约束矩阵，获取所述第一稀疏神经网络。5.根据权利要求4所述的方法，其特征在于，所述第二剪枝方式为模式剪枝方式，所述基于所述第二剪枝方式获取与所述第一稀疏神经网络待剪枝层的权重矩阵对应的第二稀疏约束矩阵，包括：基于交替方向乘子法获取与所述第一稀疏神经网络待剪枝层的初始权重矩阵对应的模式剪枝方式初始约束矩阵；基于预设的原始损失函数和所述模式剪枝方式初始约束矩阵作为目标损失函数进行训练，在预设次数的迭代训练后获取权重更新后的第二候选神经网络以及对应的第二更新权重矩阵；基于交替方向乘子法获取与所述第二更新权重矩阵对应的第二稀疏约束矩阵。6.根据权利要求5所述的方法，其特征在于，所述根据所述第二稀...

【专利技术属性】
技术研发人员：刘松伟，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：