网络模型裁剪方法、装置、电子设备及可读存储介质制造方法及图纸

本申请提供一种网络模型裁剪方法、装置、电子设备及可读存储介质，该方法包括：对原始网络模型进行稀疏约束训练；依据同一训练过程中对所述原始网络模型进行不同轮数的稀疏约束训练的训练结果统计N1条裁剪参数

【技术实现步骤摘要】
网络模型裁剪方法、装置、电子设备及可读存储介质


[0001]本申请涉及人工智能
，尤其涉及一种网络模型裁剪方法、装置、电子设备及可读存储介质。

技术介绍

[0002]随着人工智能技术的高速发展，依据网络模型执行智能任务，如进行智能检测(如车辆、车牌检测等)的应用越来越普及。由于终端设备的计算资源通常是有限的，若网络模型的结构过于复杂，则其对计算资源的需求会过大，导致终端设备依据该网络模型执行智能任务的速度会比较慢，实时性较差。因此，为了提高终端设备执行智能任务的实时性，可以对终端设备上应用的网络模型进行合理裁剪，而基于稀疏约束的网络模型裁剪是一种较为常用的网络模型裁剪方式。
[0003]稀疏约束是通过训练重构模型参数的一种典型方法，通过将每层网络参数分为多组，并在目标函数中添加稀疏约束的方式，减小一些组的范数，从而达到稀疏的目的。
[0004]目前，基于稀疏约束对网络模型进行裁剪主要包括两种方案：
[0005]1、等权重稀疏约束方案：对网络模型的所有连接使用相同强度的稀疏约束。这种方法的缺点是不能将网络的每一层精确稀疏到指定稀疏度。
[0006]2、变权重稀疏约束方案：对网络模型的不同连接使用不同强度的稀疏约束，从而，将网络的每层精确稀疏到指定稀疏度。
[0007]然而实践发现，传统变权重稀疏约束方案需要人工设定网络模型各层的裁剪比例，无法实现自动裁剪，导致终端设备依据网络模型执行智能任务的实时性较差。

技术实现思路

[0008]有鉴于此，本申请提供一种网络模型裁剪方法、装置、电子设备及可读存储介质，以解决传统变权重稀疏约束方案无法实现网络模型自动裁剪，进而导致终端设备执行智能任务的实时性差的问题。
[0009]具体地，本申请是通过如下技术方案实现的：
[0010]根据本申请实施例的第一方面，提供一种网络模型裁剪方法，包括：
[0011]对原始网络模型进行稀疏约束训练；
[0012]依据同一训练过程中对所述原始网络模型进行不同轮数的稀疏约束训练的训练结果统计N1条裁剪参数
‑
优化目标量曲线，直至统计得到的裁剪参数
‑
优化目标量曲线满足预设停止规则；其中，基于任一训练结果统计得到的裁剪参数
‑
优化目标量曲线，用于表征该训练结果按照不同裁剪参数进行裁剪后的优化目标量，裁剪参数与该训练结果的各层的裁剪比例正相关，N1≥2，所述预设停止规则包括目标裁剪参数随着训练轮数增加的变化幅度不超过预设取值范围，目标裁剪参数为使裁剪后的网络模型的计算量等于预设裁后计算量的裁剪参数；
[0013]依据所述N1条裁剪参数
‑
优化目标量曲线，以及预设裁后优化目标量，确定第一目
标裁剪参数；
[0014]依据所述第一目标裁剪参数确定各层的裁剪比例；
[0015]依据所述各层的裁剪比例，对所述原始网络模型进行变权重稀疏约束训练，得到所述原始网络模型对应的稀疏模型，并依据所述各层的裁剪比例对所述稀疏模型进行裁剪。
[0016]根据本申请实施例的第二方面，提供一种网络模型裁剪装置，包括：
[0017]预训练单元，用于对原始网络模型进行稀疏约束训练；
[0018]统计单元，用于依据同一训练过程中对所述原始网络模型进行不同轮数的稀疏约束训练的训练结果统计N1条裁剪参数
‑
优化目标量曲线，直至统计得到的裁剪参数
‑
优化目标量曲线满足预设停止规则；其中，基于任一训练结果统计得到的裁剪参数
‑
优化目标量曲线，用于表征该训练结果按照不同裁剪参数进行裁剪后的优化目标量，裁剪参数与该训练结果的各层的裁剪比例正相关，N1≥2，所述预设停止规则包括目标裁剪参数随着训练轮数增加的变化幅度不超过预设取值范围，目标裁剪参数为使裁剪后的网络模型的计算量等于预设裁后计算量的裁剪参数；
[0019]确定单元，用于依据所述N1条裁剪参数
‑
优化目标量曲线，以及预设裁后优化目标量，确定第一目标裁剪参数；
[0020]所述确定单元，用于依据所述第一目标裁剪参数确定各层的裁剪比例；
[0021]处理单元，还用于依据所述各层的裁剪比例，对所述原始网络模型进行变权重稀疏约束训练，得到所述原始网络模型对应的稀疏模型，并依据所述各层的裁剪比例对所述稀疏模型进行裁剪。
[0022]根据本申请实施例的第三方面，提供一种电子设备，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器用于执行机器可执行指令，以实现上述网络模型裁剪方法。
[0023]根据本申请实施例的第四方面，提供一种机器可读存储介质，所述机器可读存储介质内存储有机器可执行指令，所述机器可执行指令被处理器执行时实现上述网络模型裁剪方法。
[0024]本申请提供的技术方案至少可以带来以下有益效果：
[0025]通过依据同一训练过程中对原始网络模型进行不同轮数的稀疏约束训练的训练结果统计多条裁剪参数
‑
优化目标量曲线，依据统计得到的多条裁剪参数
‑
优化目标量曲线，以及预设裁后计算量，确定第一目标裁剪参数，并依据该第一目标裁剪参数确定各层的裁剪比例，实现了网络模型各层的裁剪比例的自动确定，进而，可以依据各层的裁剪比例，对原始网络模型进行变权重稀疏约束训练，得到原始网络模型对应的稀疏模型，并依据各层的裁剪比例对所述稀疏模型进行裁剪，实现了基于变权重稀疏约束的网络模型自动裁剪，进而，可以降低裁剪后的网络模型对计算资源的需求，提高依据裁剪后的网络模型执行智能任务的实时性。
附图说明
[0026]图1是本申请示例性实施例示出的一种网络模型裁剪方法的流程示意图；
[0027]图2是本申请示例性实施例示出的一种网络模型裁剪方案实现流程示意图；
[0028]图3A是本申请示例性实施例示出的一种各通道排序后的L2 norm对应的曲线的示意图；
[0029]图3B是本申请示例性实施例示出的一种不同曲线表示使用等权重稀疏约束对原始网络模型进行了不同轮数的训练的训练结果对应的R
‑
Gflops曲线示意图；
[0030]图4是本申请示例性实施例示出的一种网络模型裁剪装置的结构示意图；
[0031]图5是本申请示例性实施例示出的一种电子设备的硬件结构示意图。
具体实施方式
[0032]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0033]在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种网络模型裁剪方法，其特征在于，包括：对原始网络模型进行稀疏约束训练；依据同一训练过程中对所述原始网络模型进行不同轮数的稀疏约束训练的训练结果统计N1条裁剪参数
‑
优化目标量曲线，直至统计得到的裁剪参数
‑
优化目标量曲线满足预设停止规则；其中，基于任一训练结果统计得到的裁剪参数
‑
优化目标量曲线，用于表征该训练结果按照不同裁剪参数进行裁剪后的优化目标量，裁剪参数与该训练结果的各层的裁剪比例正相关，N1≥2，所述预设停止规则包括目标裁剪参数随着训练轮数增加的变化幅度不超过预设取值范围，目标裁剪参数为使裁剪后的网络模型的计算量等于预设裁后计算量的裁剪参数；依据所述N1条裁剪参数
‑
优化目标量曲线，以及预设裁后优化目标量，确定第一目标裁剪参数；依据所述第一目标裁剪参数确定各层的裁剪比例；依据所述各层的裁剪比例，对所述原始网络模型进行变权重稀疏约束训练，得到所述原始网络模型对应的稀疏模型，并依据所述各层的裁剪比例对所述稀疏模型进行裁剪。2.根据权利要求1所述的方法，其特征在于，所述依据同一训练过程中对所述原始网络模型进行不同轮数的稀疏约束训练的训练结果统计N1条裁剪参数
‑
优化目标量曲线，包括：同一训练过程中，每隔预设轮数，依据对所述原始网络模型进行当前轮数的稀疏约束训练的训练结果统计裁剪参数
‑
优化目标量曲线。3.根据权利要求1所述的方法，其特征在于，所述统计得到的裁剪参数
‑
优化目标量曲线满足预设停止规则，包括：相邻第二目标裁剪参数的差值满足预设停止规则；其中，对于统计得到的任一裁剪参数
‑
优化目标量曲线，该裁剪参数
‑
优化目标量曲线对应的第二目标裁剪参数为依据所述预设裁后优化目标量以及该裁剪参数
‑
优化目标量曲线确定的裁剪参数。4.根据权利要求3所述的方法，其特征在于，所述相邻第二目标裁剪参数的差值满足预设停止规则，包括：连续N2个第二目标裁剪参数中，相邻第二目标裁剪参数的差值小于预设阈值，2≤N2≤N1。5.根据权利要求4所述的方法，其特征在于，所述依据所述N1条裁剪参数
‑
优化目标量曲线，以及预设裁后优化目标量，确定第一目标裁剪参数，包括：依据所述连续N2个第二目标裁剪参数，确定所述第一目标裁剪参数。6.根据权利要求1所述的方法，其特征在于，所述依据所述第一目标裁剪参数确定各层的裁剪比例，包括：对于所述原始网络模型中通道数为A的层i，依据以下策略确定层i的裁剪比例r：r＝a/A其中，R为所述第一目标裁剪参数，y＝f(x)为对层i各通道的L2 norm按照从小到大进行排序后对应的曲线，对于任一通道，该通道的L2 norm为该通道所有元素的平方和。
7.一种网络模型裁剪装置，其特征在于，包括：预训练单元，用于对原始网络模型进行稀疏约束训练；统计单元，用于依据同一训练过程中对所述原始网络模型进行不同轮数的稀疏约束训练的训练结果统...

【专利技术属性】
技术研发人员：张顺，李哲暘，彭博，谭文明，任烨，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：