一种神经网络裁剪方法、装置、设备及存储介质制造方法及图纸

本申请提供了一种神经网络裁剪方法、装置、设备及存储介质，其中，方法包括：确定待裁剪神经网络中待裁剪卷积核的卷积核参数间的相关性；根据待裁剪卷积核的卷积核参数间的相关性，确定待裁剪卷积核对应的裁剪掩模；根据待裁剪卷积核对应的裁剪掩模，对待裁剪卷积核的卷积核参数进行裁剪。由于本申请提供的裁剪方法不会破坏原有的神经网络的网络参数的结构化信息，因此，通过本申请提供的裁剪方法裁剪得到的神经网络能够部署到大多数硬件平台中，而不需要额外专门的硬件去支持，另外，本申请根据待裁剪卷积核对应的裁剪掩模，对待裁剪卷积核的卷积核参数进行裁剪，而非直接将整个卷积核或者整个通道裁减掉，实现了神经网络的精细化裁剪。精细化裁剪。精细化裁剪。

【技术实现步骤摘要】
一种神经网络裁剪方法、装置、设备及存储介质


[0001]本申请涉及网络裁剪
，尤其涉及一种神经网络裁剪方法、装置、设备及存储介质。

技术介绍

[0002]近年来，深度学习技术在图像识别、语音识别、自然语言处理等领域取得了显著的效果。然而，由于深度神经网络巨大的参数量，使得其在很多场景下很难落地使用，比如，嵌入式系统、手机端。为了解决该问题，目前比较流行的方法有网络模型搜索、网络模型量化、网络模型裁剪，其中，网络模型裁剪因为简单、可靠、成熟等优点而被大量使用。
[0003]目前的网络模型裁剪主要为权重裁剪，权重裁剪是一种精细化的裁剪方式，其将网络参数中值趋近于0的独立参数裁剪掉，这种方法可以最大限度的裁剪神经网络参数，但是，由于裁剪的参数是随机的，使得网络参数分布不具有结构化信息，导致大多数硬件平台难以支持通过该方法裁剪的网络。

技术实现思路

[0004]有鉴于此，本申请提供了一种神经网络裁剪方法、装置、设备及存储介质，用以解决现有的神经网络裁剪方法破坏了原有的神经网络的网络参数的结构，导致大多数硬件平台难以支持裁剪本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络裁剪方法，其特征在于，包括：确定待裁剪神经网络中待裁剪卷积核的卷积核参数间的相关性；根据所述待裁剪卷积核的卷积核参数间的相关性，确定所述待裁剪卷积核对应的裁剪掩模；根据所述待裁剪卷积核对应的裁剪掩模，对所述待裁剪卷积核的卷积核参数进行裁剪。2.根据权利要求1所述的神经网络裁剪方法，其特征在于，所述确定待裁剪神经网络中待裁剪卷积核的参数间的相关性，包括：通过对所述待裁剪卷积核的卷积核参数进行处理，确定所述待裁剪卷积核对应的自注意力矩阵，其中，所述待裁剪卷积核对应的自注意力矩阵能够表征所述待裁剪卷积核的卷积核参数间的相关性。3.根据权利要求2所述的神经网络裁剪方法，其特征在于，所述通过对所述待裁剪卷积核的卷积核参数进行处理，确定所述待裁剪卷积核对应的自注意力矩阵，包括：将所述待裁剪卷积核处理成二维矩阵，其中，所述二维矩阵的行数为所述待裁剪卷积核的通道数，所述二维矩阵的每一行为所述待裁剪卷积核的一个通道的卷积核参数；对所述二维矩阵进行转置，以得到所述二维矩阵的转置矩阵；用所述二维矩阵右乘所述二维矩阵的转置矩阵，得到的矩阵作为所述待裁剪卷积核对应的自注意力矩阵。4.根据权利要求2所述的神经网络裁剪方法，其特征在于，所述根据所述待裁剪卷积核的卷积核参数间的相关性，确定所述待裁剪卷积核对应的裁剪掩模，包括：将所述裁剪卷积核对应的自注意力矩阵处理成与所述待裁剪卷积核尺寸相同、且每个元素的取值均在预设范围内的矩阵，作为所述待裁剪卷积核对应的裁剪掩模。5.根据权利要求4所述的神经网络裁剪方法，其特征在于，所述将所述裁剪卷积核对应的自注意力矩阵处理成与所述待裁剪卷积核尺寸相同、且每个元素的取值均在预设范围内的矩阵，作为所述待裁剪卷积核对应的裁剪掩模，包括：对所述待裁剪卷积核对应的自注意力矩阵，以列为单位进行归一化处理，得到的矩阵作为第一归一化矩阵；对所述第一归一化矩阵的每一行进行求和处理，得到求和后矩阵；对所述求和后矩阵，以整个矩阵对单位进行归一化处理，得到的矩阵作为第二归一化矩阵；将所述第二归一化矩阵处理成与所述待裁剪卷积核尺寸相同的矩阵，作为所述待裁剪卷积核对应的...

【专利技术属性】
技术研发人员：郭智豪，常欢，吴嘉嘉，谢名亮，殷兵，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：