一种模型剪枝方法及装置制造方法及图纸

本发明专利技术提供一种模型剪枝方法及装置，该模型剪枝方法应用在车端，包括：获取待剪枝模型中每一网络层的第一参数信息，所述第一参数信息为原始参数信息；根据所述第一参数信息获取每一网络层输出通道的梯度值；根据样本图像信息以及所述第一参数信息，获取每一网络层输出通道的计算量下降值，所述计算量下降值为设定网络层进行通道剪枝之后的计算量下降值；根据所述梯度值以及所述计算量下降值确定待剪枝通道，并根据所述待剪枝通道对所述待剪枝模型进行剪枝，以获得目标模型。本发明专利技术从通道的梯度变化以及剪枝成本角度出发，确定对剪枝敏感度更低、计算量大的通道进行剪枝以提升模型剪枝的通用性以及效率。枝的通用性以及效率。枝的通用性以及效率。

【技术实现步骤摘要】
一种模型剪枝方法及装置


[0001]本专利技术涉及模型压缩
，尤其涉及一种模型剪枝方法及装置。

技术介绍

[0002]随着人工智能技术的发展，神经网络模型的应用也越来越广泛。考虑到网络模型的参数多、运算量大，为了提高模型的运算速度，需要对模型进行剪枝。剪枝即压缩网络模型，以达到减小模型尺寸，降低资源消耗并提升响应时间的目的。在现有的模型剪枝过程中，需要确定待剪枝通道，该确定过程即为敏感度分析过程，现有的敏感度分析方法均为启发式的方法，例如，根据权重的L1Norm值确定待剪枝通道等。启发式的方法基于权重特性实现，虽然实现起来更容易，但是其无法反映剪枝前后的模型变化，通用性差。

技术实现思路

[0003]本专利技术提供一种模型剪枝方法及装置，用以解决上述问题。
[0004]本专利技术提供一种模型剪枝方法，包括：
[0005]获取待剪枝模型中每一网络层的第一参数信息，所述第一参数信息为原始参数信息；
[0006]根据所述第一参数信息获取每一网络层输出通道的梯度值；
[0007]根据样本图像信息以及所述第一参数信息，获取每一网络层输出通道的计算量下降值，所述计算量下降值为设定网络层进行通道剪枝之后的计算量下降值；
[0008]根据所述梯度值以及所述计算量下降值确定待剪枝通道，并根据所述待剪枝通道对所述待剪枝模型进行剪枝，以获得目标模型。
[0009]根据本专利技术提供的一种模型剪枝方法，在所述获取待剪枝模型中每一网络层的第一参数信息之后，该方法还包括：r/>[0010]获取第一参数信息对应的掩码信息；
[0011]相应地，所述根据所述第一参数信息获取每一网络层输出通道的梯度值，包括：
[0012]根据所述掩码信息以及所述第一参数信息获取第二参数信息，所述第二参数信息为根据掩码信息剪枝后的参数信息；
[0013]根据第二参数信息以及所述第一参数信息进行梯度计算，获得梯度值。
[0014]根据本专利技术提供的一种模型剪枝方法，所述第一参数信息包括第一权重以及第一偏置，所述第二参数信息包括第二权重以及第二偏置；
[0015]相应地，所述根据所述掩码信息以及所述第一参数信息获取第二参数信息，包括：
[0016]计算第一权重与所述掩码信息中掩码值之间的乘积，以获得第二权重；
[0017]计算第一偏置与所述掩码信息中掩码值之间的乘积，以获得第二偏置；
[0018]所述根据第二参数信息以及所述第一参数信息进行梯度计算，获得梯度值，包括：
[0019]对第二权重进行梯度计算获得权重梯度，并对第二偏置进行梯度计算获得偏置梯度；
[0020]计算权重梯度与第一权重的乘积，以及偏置梯度与第一偏置的乘积，并对所述权重梯度与第一权重的乘积与所述偏置梯度与第一偏置之间的乘积进行求和，将求和结果作为梯度值。
[0021]根据本专利技术提供的一种模型剪枝方法，所述样本图像信息包括样本图像数量、样本图像的宽度以及高度，所述第一参数信息包括网络层的输入通道数以及卷积核的大小；
[0022]所述根据样本图像信息以及所述第一参数信息，获取每一网络层输出通道的计算量下降值，包括：
[0023]根据样本图像数量、样本图像的宽度以及高度、网络层的输入通道数以及卷积核的大小进行乘积计算，获得计算量下降值，该计算量下降值表征网络层中剪枝一个通道之后待剪枝模型的计算量下降值。
[0024]根据本专利技术提供的一种模型剪枝方法，所述根据所述梯度值以及所述计算量下降值确定待剪枝通道，包括：
[0025]获取所述梯度值与所述计算量下降值的平方结果之间的比值；
[0026]对所有网络层对应的比值按照由小到大的顺序进行排序，从排序结果中确定前p个比值，并将确定的前p个比值对应的通道确定为待剪枝通道。
[0027]根据本专利技术提供的一种模型剪枝方法，在获得梯度值以及计算量下降值之后，该方法还包括：
[0028]对所述梯度值以及所述计算量下降值进行归一化处理，以获得归一化后的梯度值以及归一化后的计算量下降值；
[0029]相应地，所述对所述梯度值与所述计算量下降值进行乘积计算，包括：
[0030]对归一化后的梯度值与归一化后的计算量下降值进行乘积计算。
[0031]根据本专利技术提供的一种模型剪枝方法，所述根据所述待剪枝通道对所述待剪枝模型进行剪枝，以获得目标模型，包括：
[0032]根据所述待剪枝通道对所述待剪枝模型进行剪枝，获得剪枝后模型；
[0033]在剪枝后模型对应的计算量超过预设目标计算量的情况下，将所述剪枝后模型作为目标模型输出。
[0034]本专利技术还提供一种模型剪枝装置，包括：
[0035]参数信息获取模块，用于获取待剪枝模型中每一网络层的第一参数信息，所述第一参数信息为原始参数信息；
[0036]通道梯度获取模块，用于根据所述第一参数信息获取每一网络层输出通道的梯度值；
[0037]计算量下降获取模块，用于根据样本图像信息以及所述第一参数信息，获取每一网络层输出通道的计算量下降值，所述计算量下降值为设定网络层进行通道剪枝之后的计算量下降值；
[0038]剪枝通道确定模块，用于根据所述梯度值以及所述计算量下降值确定待剪枝通道，并根据所述待剪枝通道对所述待剪枝模型进行剪枝，以获得目标模型。
[0039]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如上述任一种模型剪枝方法。
[0040]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，计算机
程序被处理器执行时实现如上述任一种模型剪枝方法。
[0041]本专利技术提供的模型剪枝方法及装置，根据所述梯度值以及所述计算量下降值确定待剪枝通道，利用通道数对应的梯度值来反映通道剪枝的敏感度，相较于启发式敏感度分析方法而言，本专利技术基于梯度的方法更具有通用性。另外，除了梯度值这一维度之外还综合了计算量下降值这一信息，从而能够优先对敏感度低、计算量大的通道进行剪枝，加快了剪枝效率。
附图说明
[0042]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0043]图1是本专利技术实施例提供的模型剪枝方法的流程示意图；
[0044]图2为本专利技术实施例提供的模型剪枝装置结构示意图；
[0045]图3为本专利技术实施例提供的一种电子设备的实体结构示意图。
具体实施方式
[0046]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术中的附图，对本专利技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型剪枝方法，其特征在于，包括：获取待剪枝模型中每一网络层的第一参数信息，所述第一参数信息为原始参数信息；根据所述第一参数信息获取每一网络层输出通道的梯度值；根据样本图像信息以及所述第一参数信息，获取每一网络层输出通道的计算量下降值，所述计算量下降值为设定网络层进行通道剪枝之后的计算量下降值；根据所述梯度值以及所述计算量下降值确定待剪枝通道，并根据所述待剪枝通道对所述待剪枝模型进行剪枝，以获得目标模型。2.根据权利要求1所述的模型剪枝方法，其特征在于，在所述获取待剪枝模型中每一网络层的第一参数信息之后，该方法还包括：获取第一参数信息对应的掩码信息；相应地，所述根据所述第一参数信息获取每一网络层输出通道的梯度值，包括：根据所述掩码信息以及所述第一参数信息获取第二参数信息，所述第二参数信息为根据掩码信息剪枝后的参数信息；根据第二参数信息以及所述第一参数信息进行梯度计算，获得梯度值。3.根据权利要求2所述的模型剪枝方法，其特征在于，所述第一参数信息包括第一权重以及第一偏置，所述第二参数信息包括第二权重以及第二偏置；相应地，所述根据所述掩码信息以及所述第一参数信息获取第二参数信息，包括：计算第一权重与所述掩码信息中掩码值之间的乘积，以获得第二权重；计算第一偏置与所述掩码信息中掩码值之间的乘积，以获得第二偏置；所述根据第二参数信息以及所述第一参数信息进行梯度计算，获得梯度值，包括：对第二权重进行梯度计算获得权重梯度，并对第二偏置进行梯度计算获得偏置梯度；计算权重梯度与第一权重的乘积，以及偏置梯度与第一偏置的乘积，并对所述权重梯度与第一权重的乘积与所述偏置梯度与第一偏置之间的乘积进行求和，将求和结果作为梯度值。4.根据权利要求1所述的模型剪枝方法，其特征在于，所述样本图像信息包括样本图像数量、样本图像的宽度以及高度，所述第一参数信息包括网络层的输入通道数以及卷积核的大小；所述根据样本图像信息以及所述第一参数信息，获取每一网络层输出通道的计算量下降值，包括：根据样本图像数量、样本图像的宽度以及高度、网络层的输入通道数以及卷积核的大小进行乘积计算，获得计算量下降值，该计算量下降值表...

【专利技术属性】
技术研发人员：陆强，
申请(专利权)人：际络科技上海有限公司，
类型：发明
国别省市：