一种用于压缩深度神经网络模型的方法和系统技术方案

本发明专利技术实施例提供了一种用于压缩深度神经网络模型的方法和系统，该方法包括：S1、获取基线模型，所述基线模型是待压缩的深度神经网络模型；S2、对所述基线模型的至少部分卷积层中的多个卷积核分别基于其权重参数计算其有效性，确定无效的卷积核；S3、从所述基线模型中裁剪掉所确定的无效的卷积核；S4、对经裁剪后的模型进行微调或者重训练，得到压缩后的模型。本发明专利技术在对相应的卷积层进行剪枝的过程中，不用去分析该层的剪枝结果对灵敏度的影响，只关注最终的结果是否可以接受，因此本发明专利技术的方法更加简单，效率更高，尤其适合具有较多卷积层的深度卷积神经网络。多卷积层的深度卷积神经网络。多卷积层的深度卷积神经网络。

【技术实现步骤摘要】
一种用于压缩深度神经网络模型的方法和系统


[0001]本专利技术涉及人工智能领域，具体来说涉及神经网络模型的压缩技术邻域，更具体地说，涉及一种用于压缩深度神经网络模型的方法和系统。

技术介绍

[0002]近年来，深度神经网络(DNN)在各个领域中取得了巨大的成功，包括图像分类、目标检测、语义分割、自动驾驶、语音识别、机器翻译、情感分析、推荐系统等领域。然而，卷积神经网络(CNN)通常需要较高的计算开销，以及大的内存占用等，而移动或嵌入式设备由于其本身的体积、空间等限制因素，本身无法承载高算力的资源，这使得其计算和存储资源非常宝贵，使得CNN无法直接部署于移动或嵌入式设备。目前，CNN的压缩和加速已经在学术界与工业界上做出了广泛的探索与努力，目前主要的卷积神经网络压缩加速方法包括低秩近似、参数量化、二值化与网络剪枝。网络剪枝是一种高效而具有很强的针对性的模型压缩方法。目前的模型压缩方法可以根据操作粒度划分为细粒级别剪枝、向量级别剪枝、Kernel级别剪枝、组级别剪枝与Filter级别剪枝方法。但无论哪一种剪枝方法，其剪枝基本操作流程是相近的。通常本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于压缩深度神经网络模型的方法，其特征在于，包括：S1、获取基线模型，所述基线模型是待压缩的深度神经网络模型；S2、对所述基线模型的至少部分卷积层中的多个卷积核分别基于其权重参数计算其有效性，确定无效的卷积核；S3、从所述基线模型中裁剪掉所确定的无效的卷积核；S4、对经裁剪后的模型进行微调或者重训练，得到压缩后的模型。2.根据权利要求1所述的用于压缩深度神经网络模型的方法，其特征在于，所述步骤S2包括：S21、获取基线模型中需要剪枝的任一卷积层的多个卷积核的权重参数；S22、基于卷积核的权重参数分别求其范数；S23、对各卷积核的范数进行归一化，得到各卷积核的待分析值；S24、基于各卷积核的待分析值计算各卷积核的有效性指标；S25、将有效性指标小于等于预定的有效性阈值的卷积核确定为无效的卷积核。3.根据权利要求2所述的用于压缩深度神经网络模型的方法，其特征在于，按照以下公式求卷积核的范数：其中，p表示范数类型，N
i
表示第i卷积层的输入通道数，n表示当前计算的通道，K1表示卷积核的长度，K2表示卷积核的宽度，k1表示当前计算的参数的长度序号为k1，k2表示当前计算的参数的长度序号为k2。4.根据权利要求3所述的用于压缩深度神经网络模型的方法，其特征在于，所述范数类型是L0、L1或者L2范数。5.根据权利要求2所述的用于压缩深度神经网络模型的方法，其特征在于，对每个卷积核的范数进行归一化时基于该卷积核所在卷积层的所有卷积核的范数中的最大值和最小值进行归一化。6.根据权利要求2至5任一项所述的用于压缩深度神经网络模型的方法，其特征在于，按照以下公式对每个卷积核的范数进行归一化：其中，u表示待分析值，{||...

【专利技术属性】
技术研发人员：李超，许建荣，徐勇军，崔碧峰，宫禄齐，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：