本申请涉及一种模型通道剪枝方法、装置、计算机设备和存储介质。方法包括：获取模型剪枝任务，确定目标模型中待剪枝的目标层，根据模型剪枝任务中的第一特征数据类型和第二特征数据类型，得到目标层中通道的第一特征数据和第二特征数据，根据特征数据类型以及特征数据数值大小，对目标层中的通道进行排序，得到与第一特征数据类型对应的第一排序结果以及与第二特征数据类型对应的第二排序结果，根据第一排序结果、第二排序结果以及预设的剪枝比例参数，筛选出目标层中待剪枝的目标通道，对目标通道进行剪枝处理。实现对目标模型进行有效可靠的压缩处理，避免神经网络模型无法适用于内存和计算资源受限的设备的情况出现。于内存和计算资源受限的设备的情况出现。于内存和计算资源受限的设备的情况出现。
【技术实现步骤摘要】
模型通道剪枝方法、装置、计算机设备和存储介质
[0001]本申请涉及人工智能
，特别是涉及一种模型通道剪枝方法、装置、计算机设备和存储介质。
技术介绍
[0002]随着人工智能技术的发展，神经网络模型作为人工智能领域中的重要部分，由于其准确率高，易于达到生产要求，因此被大量的用到各种业务场景中。
[0003]但是神经网络作为高度计算密集型和内存密集型的模型，对计算和存储资源提出了很高的要求。深度神经网络的深度与其表达能力有一定的正相关性，其深度越深，则训练的效果越好，对于具体的任务而言准确度就会越高。然而，神经网络的深度越深，则网络模型的参数越多，需要的存储空间越大，导致神经网络模型无法适用于内存和计算资源受限的设备。
技术实现思路
[0004]基于此，有必要针对上述技术问题，提供一种能够实现模型压缩的模型通道剪枝方法、装置、计算机设备和存储介质。
[0005]一种模型通道剪枝方法，方法包括：
[0006]获取模型剪枝任务，确定目标模型中待剪枝的目标层；
[0007]根据模型剪枝任务中的第一特征数据类型和第二特征数据类型，得到目标层中通道的第一特征数据和第二特征数据；
[0008]根据特征数据类型以及特征数据数值大小，对目标层中的通道进行排序，得到与第一特征数据类型对应的第一排序结果以及与第二特征数据类型对应的第二排序结果；
[0009]根据第一排序结果、第二排序结果以及预设的剪枝比例参数，筛选出目标层中待剪枝的目标通道，对目标通道进行剪枝处理。<br/>[0010]在其中一个实施例中，根据第一排序结果、第二排序结果以及预设的剪枝比例参数，筛选出目标层中待剪枝的目标通道，对目标通道进行剪枝处理包括：
[0011]根据目标层的通道数量和预设的剪枝比例参数，确定待剪枝的目标通道的目标数量；
[0012]按照排序顺序，同步遍历第一排序结果和第二排序结果，筛选出在第一排序结果和第二排序结果中均遍历到的目标通道，直至筛选得到的目标通道的数量达到目标数量；
[0013]对筛选得到的目标通道进行剪枝处理。
[0014]在其中一个实施例中，获取模型剪枝任务包括：
[0015]响应目标模型的重写操作，获取针对重写的目标模型配置的待剪枝的目标层、剪枝比例参数以及剪枝方式，剪枝方式包括第一特征数据类型和第二特征数据类型；
[0016]根据待剪枝的目标层、剪枝比例参数以及剪枝方式，构建目标模型对应的模型剪枝任务。
[0017]在其中一个实施例中，待剪枝的目标层包括多个；模型剪枝任务还包括配置的模型训练与剪枝的组合方式，其中，组合方式包括单个目标层剪枝与模型训练的循环组合方式、以及全目标层剪枝与模型训练的组合方式中的任意一种；
[0018]方法还包括：
[0019]根据组合方式，对目标模型的各目标层进行剪枝和模型训练，得到更新的目标模型。
[0020]在其中一个实施例中，根据模型剪枝任务中的第一特征数据类型和第二特征数据类型，得到目标层中通道的第一特征数据和第二特征数据包括：
[0021]根据模型剪枝任务中的剪枝方式，确定第一特征数据类型和第二特征数据类型；
[0022]获取目标层中通道对应的特征参数；
[0023]根据第一特征数据类型对特征参数进行处理，得到与通道对应的第一特征数据；
[0024]根据第二特征数据类型对特征参数进行处理，得到与通道对应的第二特征数据。
[0025]在其中一个实施例中，剪枝方式包括以参数零的占比、通道均值以及通道方差中的任意两个作为第一特征数据类型和第二特征数据类型的剪枝方式；其中，参数零的占比是指通道对应的特征参数中参数零的数量和特征参数的总数的比值，通道均值是指通道对应的特征参数的均值，通道方差是指通道对应的特征参数的方差。
[0026]在其中一个实施例中，剪枝方式包括以通道对应激活层的权重百分比和通道对应BN(Batch Normalization，批次标准化)层的gamma参数与零之间的距离作为第一特征数据类型和第二特征数据类型的剪枝方式。
[0027]一种模型通道剪枝装置，装置包括：
[0028]任务获取模块，用于获取模型剪枝任务，确定目标模型中待剪枝的目标层；
[0029]特征数据确定模块，用于根据模型剪枝任务中的第一特征数据类型和第二特征数据类型，得到目标层中通道的第一特征数据和第二特征数据；
[0030]排序模块，用于根据特征数据类型以及特征数据数值大小，对目标层中的通道进行排序，得到与第一特征数据类型对应的第一排序结果以及与第二特征数据类型对应的第二排序结果；
[0031]筛选模块，用于根据第一排序结果、第二排序结果以及预设的剪枝比例参数，筛选出目标层中待剪枝的目标通道，对目标通道进行剪枝处理。
[0032]一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：
[0033]获取模型剪枝任务，确定目标模型中待剪枝的目标层；
[0034]根据模型剪枝任务中的第一特征数据类型和第二特征数据类型，得到目标层中通道的第一特征数据和第二特征数据；
[0035]根据特征数据类型以及特征数据数值大小，对目标层中的通道进行排序，得到与第一特征数据类型对应的第一排序结果以及与第二特征数据类型对应的第二排序结果；
[0036]根据第一排序结果、第二排序结果以及预设的剪枝比例参数，筛选出目标层中待剪枝的目标通道，对目标通道进行剪枝处理。
[0037]一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
[0038]获取模型剪枝任务，确定目标模型中待剪枝的目标层；
[0039]根据模型剪枝任务中的第一特征数据类型和第二特征数据类型，得到目标层中通道的第一特征数据和第二特征数据；
[0040]根据特征数据类型以及特征数据数值大小，对目标层中的通道进行排序，得到与第一特征数据类型对应的第一排序结果以及与第二特征数据类型对应的第二排序结果；
[0041]根据第一排序结果、第二排序结果以及预设的剪枝比例参数，筛选出目标层中待剪枝的目标通道，对目标通道进行剪枝处理。
[0042]上述模型通道剪枝方法、装置、计算机设备和存储介质，通过获取模型剪枝任务，确定目标模型中待剪枝的目标层，根据模型剪枝任务中的第一特征数据类型和第二特征数据类型，得到目标层中通道的第一特征数据和第二特征数据，通过不同的特征数据来反映目标层各通道的不同类型的特征，根据特征数据类型以及特征数据数值大小，对目标层中的通道进行排序，得到与第一特征数据类型对应的第一排序结果以及与第二特征数据类型对应的第二排序结果；根据第一排序结果、第二排序结果以及预设的剪枝比例参数，筛选出目标层中待剪枝的目标通道，基于不同特征类型的综合排序结果来筛选得到的目标通道，能够避免重要的通道被滤除，提高目标通道筛选结果的有效性，本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种模型通道剪枝方法，其特征在于，所述方法包括：获取模型剪枝任务，确定目标模型中待剪枝的目标层；根据所述模型剪枝任务中的第一特征数据类型和第二特征数据类型，得到所述目标层中通道的第一特征数据和第二特征数据；根据特征数据类型以及特征数据数值大小，对所述目标层中的通道进行排序，得到与所述第一特征数据类型对应的第一排序结果以及与所述第二特征数据类型对应的第二排序结果；根据所述第一排序结果、所述第二排序结果以及预设的剪枝比例参数，筛选出所述目标层中待剪枝的目标通道，对所述目标通道进行剪枝处理。2.根据权利要求1所述的方法，其特征在于，所述根据所述第一排序结果、所述第二排序结果以及预设的剪枝比例参数，筛选出所述目标层中待剪枝的目标通道，对所述目标通道进行剪枝处理包括：根据所述目标层的通道数量和预设的剪枝比例参数，确定待剪枝的目标通道的目标数量；按照排序顺序，同步遍历所述第一排序结果和所述第二排序结果，筛选出在所述第一排序结果和所述第二排序结果中均遍历到的目标通道，直至筛选得到的目标通道的数量达到所述目标数量；对筛选得到的目标通道进行剪枝处理。3.根据权利要求1所述的方法，其特征在于，所述获取模型剪枝任务包括：响应目标模型的重写操作，获取针对重写的目标模型配置的待剪枝的目标层、剪枝比例参数以及剪枝方式，所述剪枝方式包括第一特征数据类型和第二特征数据类型；根据所述待剪枝的目标层、所述剪枝比例参数以及所述剪枝方式，构建所述目标模型对应的模型剪枝任务。4.根据权利要求3所述的方法，其特征在于，所述待剪枝的目标层包括多个；所述模型剪枝任务还包括配置的模型训练与剪枝的组合方式，其中，所述组合方式包括单个目标层剪枝与模型训练的循环组合方式、以及全目标层剪枝与模型训练的组合方式中的任意一种；所述方法还包括：根据所述组合方式，对所述目标模型的各目标层进行剪枝和模型训练，得到更新的目标模型。5.根据权利要求3所述的方法，其特征在于，所述根据所述模型剪枝任务中的第一特征数据类型和第二特征数据类型，得到所述目标...
【专利技术属性】
技术研发人员：杨小平，
申请(专利权)人：顺丰科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。