深度学习模型压缩方法及相关设备技术

本发明专利技术实施例公开一种深度学习模型压缩方法及相关设备，本发明专利技术实施例根据每个通道的通道贡献率以及贡献率阈值，对深度学习模型的每层卷积层的通道进行裁剪，减少了通道数，也即减少了模型的计算量，从而将深度学习模型进行有效的压缩。行有效的压缩。行有效的压缩。

Deep learning model compression method and related equipment

【技术实现步骤摘要】
深度学习模型压缩方法及相关设备


[0001]本专利技术涉及人工智能
，尤其涉及一种深度学习模型压缩方法、一种深度学习模型压缩装置、一种深度学习模型压缩设备及一种计算机存储介质。

技术介绍

[0002]深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。
[0003]随着深度学习技术的快速发展，各种深度学习技术应用到生活中的各个角落。为了追求更高的精度和性能，不断地加深网络结构的宽度与深度，导致深度学习训练出来的模型越来越大。然而，人们的生活中，存在很多的边缘设备和移动设备。如果想要将这些深度学习训练的模型应用到这些边缘设备和移动设备上，由于这些设备的算力不足，导致不能做到实时给出结果，因此，亟需对模型进行压缩。

技术实现思路

[0004]本专利技术实施例提供了一种深度学习模型压缩方法及相关设备，可以有效对模型进行压缩。
[0005]一方面，本专利技术实施例提供了一种深度学习模型压缩方法，包括：
[0006]获取深度学习模型的每层卷积层的输入特征图的每个通道对应的卷积值；
[0007]根据每个通道的卷积值与所在卷积层的总卷积值的比值，确定每个通道的通道贡献率；
[0008]根据所述通道贡献率和贡献率阈值，对每层卷积层的输入特征图的通道进行裁剪，得到压缩后的深度学习模型。
[0009]可选地，所述方法还包括：
[0010]确定深度学习模型的每层卷积层的各卷积核的权重矩阵的L1范数值；
[0011]裁剪所述L1范数值小于或等于范数阈值的卷积核，得到压缩后的深度学习模型。
[0012]可选地，所述方法还包括：
[0013]确定深度学习模型的每层卷积层的各卷积核之间的相似度；
[0014]裁剪所述相似度大于或等于相似度阈值的卷积核，得到压缩后的深度学习模型。
[0015]可选地，所述确定深度学习模型的每层卷积层的各卷积核之间的相似度，包括：
[0016]计算各卷积核之间的欧式距离或余弦距离；
[0017]根据各卷积核之间的欧式距离或余弦距离，确定各卷积核之间的相似度。
[0018]另一方面，本专利技术实施例提供了一种深度学习模型压缩装置，包括：
[0019]第一处理模块，用于获取深度学习模型的每层卷积层的输入特征图的每个通道对应的卷积值；
[0020]第二处理模块，用于根据每个通道的卷积值与所在卷积层的总卷积值的比值，确
定每个通道的通道贡献率；
[0021]第一裁剪模块，用于根据所述通道贡献率和贡献率阈值，对每层卷积层的输入特征图的通道进行裁剪，得到压缩后的深度学习模型。
[0022]可选地，所述装置还包括：
[0023]第三处理模块，用于确定深度学习模型的每层卷积层的各卷积核的权重矩阵的L1范数值；
[0024]第二裁剪模块，用于裁剪所述L1范数值小于或等于范数阈值的卷积核，得到压缩后的深度学习模型。
[0025]可选地，所述装置还包括：
[0026]第四处理模块，用于确定深度学习模型的每层卷积层的各卷积核之间的相似度；
[0027]第三裁剪模块，用于裁剪所述相似度大于或等于相似度阈值的卷积核，得到压缩后的深度学习模型。
[0028]可选地，所述第四处理模块包括：
[0029]距离计算子模块，用于计算各卷积核之间的欧式距离或余弦距离；
[0030]确定子模块，用于根据各卷积核之间的欧式距离或余弦距离，确定各卷积核之间的相似度。
[0031]另一方面，本专利技术实施例提供了一种深度学习模型压缩设备，包括：处理器和存储器；
[0032]所述处理器和存储器相连，其中，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行所述的深度学习模型压缩方法。
[0033]另一方面，本专利技术实施例提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如所述的深度学习模型压缩方法。
[0034]本专利技术实施例根据每个通道的通道贡献率以及贡献率阈值，对深度学习模型的每层卷积层的通道进行裁剪，减少了通道数，也即减少了模型的计算量，从而将深度学习模型进行有效的压缩。
附图说明
[0035]为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0036]图1是本专利技术实施例提供的一种深度学习模型压缩方法的流程示意图；
[0037]图2是本专利技术实施例提供的单个卷积核操作的示意图；
[0038]图3是本专利技术实施例提供的一种深度学习模型压缩方法的流程示意图；
[0039]图4是本专利技术实施例提供的一种深度学习模型压缩方法的流程示意图；
[0040]图5是本专利技术实施例提供的一种深度学习模型压缩装置的结构示意图；
[0041]图6是本专利技术实施例提供的一种深度学习模型压缩装置的结构示意图；
[0042]图7是本专利技术实施例提供的一种深度学习模型压缩装置的结构示意图；
[0043]图8是本专利技术实施例提供的一种深度学习模型压缩装置的结构示意图；
[0044]图9是本专利技术实施例提供的一种深度学习模型压缩设备的结构示意图。
具体实施方式
[0045]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。
[0046]应当理解，本申请的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0047]在本专利技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本专利技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本专利技术所描述的实施例可以与其它实施例相结合。
[0048]由于现有的深度学习模型越来越大，导致无法将深度学习模型应用在计算力较小的电子设备上，因此，本申请的方法通过对深度学习模型的通道进行裁剪，针对每个通道计算其对所在卷积层的贡献率，即通道贡献率，如果通道贡献率高，表明该通道对该层的输出特征图起到主导作用；如果通道贡献率低，表明该通道对该层的输出特征图所起作用不大。预先设定本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度学习模型压缩方法，其特征在于，包括：获取深度学习模型的每层卷积层的输入特征图的每个通道对应的卷积值；根据每个通道的卷积值与所在卷积层的总卷积值的比值，确定每个通道的通道贡献率；根据所述通道贡献率和贡献率阈值，对每层卷积层的输入特征图的通道进行裁剪，得到压缩后的深度学习模型。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：确定深度学习模型的每层卷积层的各卷积核的权重矩阵的L1范数值；裁剪所述L1范数值小于或等于范数阈值的卷积核，得到压缩后的深度学习模型。3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：确定深度学习模型的每层卷积层的各卷积核之间的相似度；裁剪所述相似度大于或等于相似度阈值的卷积核，得到压缩后的深度学习模型。4.根据权利要求3所述的方法，其特征在于，所述确定深度学习模型的每层卷积层的各卷积核之间的相似度，包括：计算各卷积核之间的欧式距离或余弦距离；根据各卷积核之间的欧式距离或余弦距离，确定各卷积核之间的相似度。5.一种深度学习模型压缩装置，其特征在于，包括：第一处理模块，用于获取深度学习模型的每层卷积层的输入特征图的每个通道对应的卷积值；第二处理模块，用于根据每个通道的卷积值与所在卷积层的总卷积值的比值，确定每个通道的通道贡献率；第一裁剪模块，用于根据所述通道贡献率和贡献率阈值...

【专利技术属性】
技术研发人员：杨利伟，李禹源，胡文泽，
申请(专利权)人：深圳云天励飞技术有限公司，
类型：发明
国别省市：