类别自适应模型剪枝方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术提供一种类别自适应模型剪枝方法、装置、电子设备和存储介质，属于模型剪枝技术领域。该方法包括：分别建立针对各类别的优化模型，基于优化模型分别确定针对各类别的目标剪枝率；对原始卷积神经网络模型进行稀疏正则化训练，以确定骨干部中每一层网络分别对应各通道的缩放因子；针对稀疏正则化训练后的原始卷积神经网络模型，基于校准数据集，确定骨干部的每一层网络分别针对各类别的目标类别注意力系数；基于缩放因子和目标类别注意力系数确定骨干部的每一层网络对应的各通道，分别针对各类别的重要度系数；基于目标剪枝率和重要度系数，针对每个类别分别对原始卷积神经网络模型进行剪枝处理。该方法获得的剪枝模型便于部署且性能较优。部署且性能较优。部署且性能较优。

【技术实现步骤摘要】
类别自适应模型剪枝方法、装置、电子设备和存储介质


[0001]本专利技术涉及模型剪枝
，尤其涉及一种类别自适应模型剪枝方法、装置、电子设备和存储介质。

技术介绍

[0002]近年来，深度学习技术快速发展，并广泛应用于许多行业，例如自然语言处理、计算机视觉等。然而，随着模型规模的不断增大，在终端设备上部署这些模型面临着很大的挑战：由于终端设备计算等资源有限，部署大型模型可能会导致推理时延过长和推理能耗过高，这在对终端用户体验要求较高的应用场景中尤其突出。为此，模型压缩已经成为一个热门研究领域，目的是将模型的大小减小到可以在终端设备上部署的程度，同时保持模型的性能。其中一种常用的方法是剪枝，它旨在删除不重要的网络结构，减小模型的大小，同时保留模型的推理精度。
[0003]然而，大多数剪枝方法只关注模型的推理精度，忽略了实际部署在设备上时的一些重要因素，这些重要因素包括资源需求、时延需求和类别需求等，资源需求如存储空间和能量等。例如，在应急救灾场景中，无人机可能会被用于感知灾害并向救援人员提供信息，此时，救援任务对无人机感知结果有较高优先级和准确性要求，感知灾害受害者的任务对时延有较高要求，同时无人机电量和存储资源在飞行过程中也可能发生变化。因此，在进行模型剪枝时忽略上述的重要因素可能导致终端设备上不能部署剪枝后的模型或者剪枝后的模型不能得到最佳性能。

技术实现思路

[0004]本专利技术提供一种类别自适应模型剪枝方法、装置、电子设备和存储介质，用以解决现有技术中在进行模型剪枝时仅关注模型的推理精度，致使剪枝后的模型难以部署或性能较差的缺陷，实现基于多种因素综合考虑的剪枝方法，以使得剪枝后的模型能够成功部署于设备上，且获得的类别剪枝模型的性能较优。
[0005]本专利技术提供一种类别自适应模型剪枝方法，包括：
[0006]基于存储需求、推理能耗需求、推理时延需求和针对各类别的推理精度需求分别建立针对各类别的优化模型，并基于所述优化模型分别确定针对各类别的目标剪枝率，各类别为原始卷积神经网络模型进行分类识别的每一个类别；
[0007]对所述原始卷积神经网络模型进行稀疏正则化训练，以确定所述原始卷积神经网络模型的骨干部中每一层网络分别对应各通道的缩放因子；
[0008]针对稀疏正则化训练后的所述原始卷积神经网络模型，基于校准数据集，确定所述骨干部的每一层网络分别针对各类别的目标类别注意力系数；
[0009]基于所述缩放因子和所述目标类别注意力系数确定所述骨干部的每一层网络对应的各所述通道，分别针对各类别的重要度系数；
[0010]基于所述目标剪枝率和所述重要度系数，针对每个类别分别对所述原始卷积神经
网络模型进行剪枝处理，获得针对各类别的类别剪枝模型。
[0011]根据本专利技术提供的一种类别自适应模型剪枝方法，所述基于存储需求、推理能耗需求、推理时延需求和针对各类别的推理精度需求分别建立针对各类别的优化模型，并基于所述优化模型分别确定针对各类别的目标剪枝率，包括：
[0012]根据存储需求、推理能耗需求、推理时延需求和针对各类别的推理精度需求分别建立针对各类别的优化模型；
[0013]针对所述原始卷积神经网络模型，建立推理能耗预测模型、推理时延预测模型、存储预测模型和分别针对各类别的推理精度预测模型，所述推理能耗预测模型表征剪枝后模型所需的推理能耗与剪枝率的关系，所述推理时延预测模型表征剪枝后模型的推理时延与剪枝率的关系，所述存储预测模型表征剪枝后模型所需的存储空间与剪枝率的关系，所述推理精度预测模型表征剪枝后模型的推理精度与剪枝率的关系；
[0014]基于所述推理精度预测模型、所述推理能耗预测模型、所述推理时延预测模型和所述存储预测模型，分别确定针对各类别的所述优化模型的最优解对应的剪枝率，将针对各类别的所述优化模型的最优解对应的剪枝率分别确定为针对各类别的目标剪枝率。
[0015]根据本专利技术提供的一种类别自适应模型剪枝方法，
[0016][0017]服从条件：S
prune
≤S
budget
[0018][0019]E
prune
≤E
budget
[0020]0≤p≤1
[0021]其中，p表示剪枝率，minimize表示最小化，T
prune
表示剪枝后模型的推理时延，S
prune
表示剪枝后模型所需的存储空间，S
budget
表示存储空间阈值，表示针对类别n剪枝后模型的推理精度，表示针对类别n的推理精度阈值，E
prune
表示剪枝后模型所需的推理能耗，E
budget
表示推理能耗阈值。根据本专利技术提供的一种类别自适应模型剪枝方法，所述针对所述原始卷积神经网络模型，建立推理能耗预测模型、推理时延预测模型、存储预测模型和分别针对各类别的推理精度预测模型，包括：
[0022]建立初始推理能耗预测模型，基于初始推理能耗预测模型确定针对所述原始卷积神经网络模型的推理能耗预测模型；
[0023]针对所述原始卷积神经网络模型，基于推理时延与对应剪枝率的真实采样数据，建立所述推理时延预测模型；
[0024]针对所述原始卷积神经网络模型，基于存储空间与对应剪枝率的真实采样数据，建立所述存储预测模型；
[0025]针对所述原始卷积神经网络模型，基于各类别对应的推理精度与对应剪枝率的真实采样数据，分别建立针对各类别的所述推理精度预测模型。
[0026]根据本专利技术提供的一种类别自适应模型剪枝方法，所述建立初始推理能耗预测模型，包括：
[0027]建立推理能耗数据集，所述推理能耗数据集包括不同的卷积神经网络对应的计算
量、参数量和推理能耗；
[0028]将所述推理能耗数据集划分为推理能耗训练集和推理能耗验证集；
[0029]基于所述推理能耗训练集训练获得多个不同的回归模型；
[0030]基于验证集分别验证多个不同的所述回归模型的性能，将性能最优的所述回归模型确定为初始推理能耗预测模型。
[0031]根据本专利技术提供的一种类别自适应模型剪枝方法，所述针对稀疏正则化训练后的所述原始卷积神经网络模型，基于校准数据集，确定所述骨干部的每一层网络分别针对各类别的目标类别注意力系数，包括：
[0032]采用所述标准数据集作为稀疏正则化训练后的所述原始卷积神经网络模型的输入，输出所述校准数据集中各校准样本分别对应的预测框和预测类别；
[0033]针对稀疏正则化训练后的所述原始卷积神经网络模型进行反向传播，确定所述骨干部的各层网络针对各预测类别的梯度图；
[0034]基于所述骨干部的各层网络针对各预测类别的梯度图，确定所述骨干部的各层网络针对各所述校准样本的梯度类别激活图；
[0035]基于所述预测框和所述梯度类别激活图，确定所述骨干部的各层网络针对各所述校准样本的注意力系数；
[0036本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种类别自适应模型剪枝方法，其特征在于，包括：基于存储需求、推理能耗需求、推理时延需求和针对各类别的推理精度需求分别建立针对各类别的优化模型，并基于所述优化模型分别确定针对各类别的目标剪枝率，各类别为原始卷积神经网络模型进行分类识别的每一个类别；对所述原始卷积神经网络模型进行稀疏正则化训练，以确定所述原始卷积神经网络模型的骨干部中每一层网络分别对应各通道的缩放因子；针对稀疏正则化训练后的所述原始卷积神经网络模型，基于校准数据集，确定所述骨干部的每一层网络分别针对各类别的目标类别注意力系数；基于所述缩放因子和所述目标类别注意力系数确定所述骨干部的每一层网络对应的各所述通道，分别针对各类别的重要度系数；基于所述目标剪枝率和所述重要度系数，针对每个类别分别对所述原始卷积神经网络模型进行剪枝处理，获得针对各类别的类别剪枝模型。2.根据权利要求1所述的类别自适应模型剪枝方法，其特征在于，所述基于存储需求、推理能耗需求、推理时延需求和针对各类别的推理精度需求分别建立针对各类别的优化模型，并基于所述优化模型分别确定针对各类别的目标剪枝率，包括：根据存储需求、推理能耗需求、推理时延需求和针对各类别的推理精度需求分别建立针对各类别的优化模型；针对所述原始卷积神经网络模型，建立推理能耗预测模型、推理时延预测模型、存储预测模型和分别针对各类别的推理精度预测模型，所述推理能耗预测模型表征剪枝后模型所需的推理能耗与剪枝率的关系，所述推理时延预测模型表征剪枝后模型的推理时延与剪枝率的关系，所述存储预测模型表征剪枝后模型所需的存储空间与剪枝率的关系，所述推理精度预测模型表征剪枝后模型的推理精度与剪枝率的关系；基于所述推理精度预测模型、所述推理能耗预测模型、所述推理时延预测模型和所述存储预测模型，分别确定针对各类别的所述优化模型的最优解对应的剪枝率，将针对各类别的所述优化模型的最优解对应的剪枝率分别确定为针对各类别的目标剪枝率。3.根据权利要求2所述的类别自适应模型剪枝方法，其特征在于，所述优化模型为：服从条件：S
prune
≤S
budget
E
prune
≤E
budget
0≤p≤1其中，p表示剪枝率，minimize表示最小化，T
prune
表示剪枝后模型的推理时延，S
prune
表示剪枝后模型所需的存储空间，S
budhet
表示存储空间阈值，表示针对类别n剪枝后模型的推理精度，表示针对类别n的推理精度阈值，E
prune
表示剪枝后模型所需的推理能耗，E
budget
表示推理能耗阈值。4.根据权利要求2所述的类别自适应模型剪枝方法，其特征在于，所述针对所述原始卷积神经网络模型，建立推理能耗预测模型、推理时延预测模型、存储预测模型和分别针对各
类别的推理精度预测模型，包括：建立初始推理能耗预测模型，基于初始推理能耗预测模型确定针对所述原始卷积神经网络模型的推理能耗预测模型；针对所述原始卷积神经网络模型，基于推理时延与对应剪枝率的真实采样数据，建立所述推理时延预测模型；针对所述原始卷积神经网络模型，基于存储空间与对应剪枝率的真实采样数据，建立所述存储预测模型；针对所述原始卷积神经网络...

【专利技术属性】
技术研发人员：王莉，吴鑫，徐连明，费爱国，张仪，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：