【技术实现步骤摘要】
本专利技术涉及物联网和人工智能，特别涉及一种场景自适应的模型压缩方法及系统、电子设备和存储介质。
技术介绍
1、随着物联网(iot)和人工智能(ai)的发展，智能模型的部署和推理逐渐成为研究重点。如今，大量的智能监控摄像头已经成为重要的物联网传感器。这些部署在城市和住宅中的智能摄像头已经实现了许多智能应用，如人群计数、行为分析等。在传统的计算范式中，摄像头采集的数据被传输到云端，模型推理后将结果发送回本地设备。由于受到用户隐私、延迟需求和网络连接不稳定等因素的影响，将卷积神经网络部署到智能摄像头等嵌入式设备中成为现有技术研究的热点。然而，嵌入式设备稀缺的计算和存储资源导致很难直接在嵌入式设备上部署大型预训练模型。虽然现有工作研究了如何优化模型的计算效率，例如模型剪枝、参数量化、知识蒸馏、输入过滤和硬件级优化等技术，但是仍然存在计算成本和时间成本较高、所部署的智能模型泛化能力差等问题。
技术实现思路
1、鉴于上述问题，本专利技术提供了一种场景自适应的模型压缩方法及系统、电子设备和存储介质，以期至少能够解决上述问题之一。
2、根据本专利技术的第一个方面，提供了一种场景自适应的模型压缩方法，包括：
3、计算场景数据集的像素向量熵，并基于像素向量熵，利用预定义的场景复杂度评估方法计算场景数据集的场景复杂度，其中，场景数据集中包括图像；
4、基于动态重要性和静态重要性的混合策略，在场景复杂度的控制下，利用预训练模型的权重参数以及通道特征图数据集计算通道特征
5、利用通道特征图数据集中每个通道的加权总重要性将预训练模型的层稀疏度分配问题转化为单目标多约束背包问题，利用多约束动态规划算法对单目标多约束背包问题进行求解，并基于求解结果对预训练模型进行自适应地压缩。
6、根据本专利技术的实施例，上述计算场景数据集的像素向量熵，并基于像素向量熵，利用预定义的场景复杂度评估方法计算场景数据集的场景复杂度包括：
7、提取场景数据集中所有图像在特定像素位置上的像素，并将提取到的像素展平为中间向量；
8、利用预定义的像素向量熵计算方法对中间向量进行计算，得到像素向量熵，其中，像素向量熵表征图像在特定像素位置上的信息量；
9、针对场景数据集中图像的不同特定像素位置，重复进行提取操作、展平操作以及计算操作，得到不同特定像素位置上的多个像素向量熵；
10、将多个像素向量熵进行平均和归一化操作，并利用预定义的场景复杂度评估方法对平均和归一化操作后的多个像素向量熵进行计算，得到场景数据集的场景复杂度。
11、根据本专利技术的实施例，上述预定义的像素向量熵计算方法由公式(1)表示：
12、
13、其中，i代表n种不同的像素值，h(c,w,h)反映了数据集在位置(c,w,h)处的信息量；
14、其中，预定义的场景复杂度评估方法由公式(2)表示：
15、
16、其中，β的值在[0,1]中，最大熵max_entropy取决于像素值的数量。
17、根据本专利技术的实施例，上述基于动态重要性和静态重要性的混合策略，在场景复杂度的控制下，利用预训练模型的权重参数以及通道特征图计算通道特征图中每个通道的加权重要性包括：
18、利用预训练模型对场景数据集进行处理，得到通道特征图数据集，并利用预定义的动态重要性计算方法计算通道特征图数据集中每个通道的动态重要性；
19、利用预定义的静态重要性计算方法处理预训练模型的权重参数，得到通道特征图数据集中每个通道的静态重要性；
20、基于预定义的缩放系数，利用场景复杂度得到重要性比例，并利用重要性比例对通道特征图数据集中每个通道的动态重要性和静态重要性进行加权计算，得到通道特征图数据集中每个通道的加权总重要性。
21、根据本专利技术的实施例，上述预定义的动态重要性计算方法由公式(3)表示：
22、
23、其中，xi,w,h表示第c个通道特征图数据集中第i个特征图位置(w,h)，b表示场景数据集中图像的数量，wl表示预训练模型的第l层卷积层的特征图宽度，hl表示预训练模型的第l层卷积层的特征图高度；
24、其中，义的静态重要性计算方法由公式(4)表示：
25、
26、其中，‖*‖1表示一阶范数，wlc表示预训练模型的第l层卷积层所对应的通道权重参数。
27、根据本专利技术的实施例，上述利用通道特征图数据集中每个通道的加权总重要性将预训练模型的层稀疏度分配问题转化为单目标多约束背包问题，利用多约束动态规划算法对单目标多约束背包问题进行求解，并基于求解结果对预训练模型进行自适应地压缩包括：
28、根据预训练模的卷积层数量、场景数据集中图像的数量、当前卷积层在预训练模型中的次序以及预定义的常数项计算通道保留系数；
29、根据通道加权总重要性，对通道特征图数据集中属于当前卷积层的通道进行排序，并根据通道保留系数，对当前卷积层排序后的通道进行分组，得到当前卷积层的通道分组结果；
30、将通道特征图数据集中的通道解析为价值量、参数量和计算量，并将当前卷积层的通道分组结果所有通道的价值量、参数量和计算量进行求和运算，得到当前卷积层的价值量、参数量和计算量；
31、重复进行排序操作、分组操作以及求和运算，得到预训练模型中所有卷积层的价值量、参数量和计算量，并将预训练模型中所有卷积层的价值量作为目标函数以及将预训练模型中所有卷积层的参数量和计算量作为约束条件构建单目标多约束背包问题。
32、根据本专利技术的实施例，上述用通道特征图数据集中每个通道的加权总重要性将预训练模型的层稀疏度分配问题转化为单目标多约束背包问题，利用多约束动态规划算法对单目标多约束背包问题进行求解，并基于求解结果对预训练模型进行自适应地压缩还包括：
33、根据预训练模型的权重参数、预定义的计算量阈值以及预定义的计算量缩放常数得到计算量缩放因子，并根据预训练模型的权重参数、预定义的参数量阈值以及预定义的参数量缩放常数得到参数量缩放因子；
34、根据计算量缩放因子和参数量缩放因子对单目标多约束背包问题的目标函数和约束条件进行缩放，并利用多约束动态规划算法对缩放后的单目标多约束背包问题进行求解，得到求解结果；
35、利用场景复杂度控制剪枝通道比例的上界，并利用求解结果对预训练模型的卷积层进行通道删减进而实现对预训练模型自适应地压缩。
36、根据本专利技术的第二个方面，提供了一种场景自适应的模型压缩系统，包括：
37、场景复杂度评估模块，用于计算场景数据集的像素向量熵，并基于像素向量熵，利用预定义的场景复杂度评估方法计算场景数据集的场景复杂度，其中，场景数据集中包括图像；
38、通道重要性评本文档来自技高网...
【技术保护点】
1.一种场景自适应的模型压缩方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，计算场景数据集的像素向量熵，并基于像素向量熵，利用预定义的场景复杂度评估方法计算所述场景数据集的场景复杂度包括：
3.根据权利要求2所述的方法，其特征在于，所述预定义的像素向量熵计算方法由公式(1)表示：
4.根据权利要求1所述的方法，其特征在于，基于动态重要性和静态重要性的混合策略，在所述场景复杂度的控制下，利用预训练模型的权重参数以及通道特征图计算所述通道特征图中每个通道的加权重要性包括：
5.根据权利要求4所述的方法，其特征在于，所述预定义的动态重要性计算方法由公式(3)表示：
6.根据权利要求1所述的方法，其特征在于，利用所述通道特征图数据集中每个通道的加权总重要性将所述预训练模型的层稀疏度分配问题转化为单目标多约束背包问题，利用多约束动态规划算法对所述单目标多约束背包问题进行求解，并基于求解结果对所述预训练模型进行自适应地压缩包括：
7.根据权利要求6所述的方法，还包括：
8.一种场景自适应的
9.一种电子设备，包括：
10.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1～7中任一项所述的方法。
...【技术特征摘要】
1.一种场景自适应的模型压缩方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，计算场景数据集的像素向量熵，并基于像素向量熵，利用预定义的场景复杂度评估方法计算所述场景数据集的场景复杂度包括：
3.根据权利要求2所述的方法，其特征在于，所述预定义的像素向量熵计算方法由公式(1)表示：
4.根据权利要求1所述的方法，其特征在于，基于动态重要性和静态重要性的混合策略，在所述场景复杂度的控制下，利用预训练模型的权重参数以及通道特征图计算所述通道特征图中每个通道的加权重要性包括：
5.根据权利要求4所述的方法，其特征在于，所述预定义的动态...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。