基于可学习重要性评判标准剪枝的图像处理方法及装置制造方法及图纸

本发明专利技术公开了一种基于可学习重要性评判标准剪枝的图像处理方法及装置，属于人工智能模型压缩与推理加速领域，该方法包括：获取待剪枝的图像处理模型；在所述待剪枝的图像处理模型的前向传播中，加入重要性评判标准搜索空间，其中所述重要性评判标准搜索空间用于计算所述待剪枝的图像处理模型中每一层卷积层需要剪枝的部分；基于所述重要性评判标准搜索空间进行反向传播并更新所述重要性评判标准搜索空间的参数；对基于最终评判标准剪枝后的模型进行微调。型进行微调。型进行微调。

【技术实现步骤摘要】
基于可学习重要性评判标准剪枝的图像处理方法及装置


[0001]本专利技术属于人工智能
，针对模型压缩与推理加速方向研究，尤其涉及基于可学习重要性评判标准剪枝的图像处理方法及装置。

技术介绍

[0002]近年来，随着深度学习的发展，卷积神经网络(Convolutional Neural Networks, CNN)在视觉目标检测、分割、识别、分类任务上的表现令人称奇。卷积神经网络包含了卷积层和子采样层构成的特征提取器，输入的图像经过滤波器的卷积提取局部特征，再通过采样层得到特征映射层。相比于传统的神经网络，卷积神经网络通过局部感受野、权值共享、池化层简化了网络参数，但随着网络层数的加深，网络的参数在不断的变大，如GoogleNet有6.7M个参数，AlexNet有60M个参数，VGG16有138M个参数。各种加速的方式主要分为：第一，剪枝，删除网络中不重要的参数，如权重剪枝、通道剪枝、卷积核剪枝、神经元剪枝。剪枝可以保证精度的同时缩减参数量，但消耗时间和计算量大；第二、量化，将浮点运算转化为定点运算。量化可以损失较小的精度减小模型的体积，但准确性不稳定，通用性差；知识蒸馏，大型网络指导训练生成一个小型网络。知识蒸馏训练简单，但是设计迁移方式较难；为了降低网络模型在图像处理的大小以及减少在图像处理的计算复杂度，现已模型剪枝为代表的网络压缩被广泛应用到图像处理任务中。
[0003]在卷积核剪枝中，可分为硬剪枝，上一轮已删除的卷积核在下一轮不参与迭代，软剪枝，上一轮已删除的卷积核在下一轮仍参与迭代。但他们都有共同的缺点，网络不同层采用相同的重要性评判标准，不能充分考虑不同层特征的不同分布。如何选择合适的重要性评判标准应得到关注。
[0004]一方面可以基于权重标准计算衡量神经元的重要性，特征的输出是输入与权重相乘的加权，权重越小，对输出的贡献越小。通过对权重幅度值进行排序，去掉低于预设值的连接，可以得到剪枝后的网络。基于判断卷积核的重要性；几何中值 (Geometric Median, GM)通过修剪冗余的卷积核而不是权重比较小的卷积核，认为与其他卷积核太相似的卷积核不重要；另一方面，可以基于损失函数出发寻找损失影响最小的神经元。对激活值进行泰勒展开，计算卷积核和每个权值的梯度积，求和在求均值；将权重的展开平方；还可以基于激活值作为度量标准。大部分激活值趋于0的神经元都是冗余的，去除该部分神经元可大大降低模型的大小和运算量而不会影响模型精度。APoZ计算每一层0的比例估计模型的冗余和裁剪空间；还有基于信息熵进行裁剪。然而，关于对模型是否整体都用一种评判标准的研究还是相对较少，需要进一步的研究。

技术实现思路

[0005]针对现有技术的不足，本申请实施例的目的是提供基于可学习重要性评判标准剪枝的图像处理方法及装置，对传统的软剪枝加上可选择的重要性评判的搜索空间，使得每层都可以选择合适的评判标准。在可学习剪枝中，每一层都“学习着”选择最合适的评判标
准，使网络得到更好的剪枝，从而在进行图像处理任务时降低运行内存。
[0006]根据本申请实施例的第一方面，提供一种基于可学习重要性评判标准剪枝的图像处理方法，包括：
[0007]获取待剪枝的图像处理模型；
[0008]在所述待剪枝的图像处理模型的前向传播中，加入重要性评判标准搜索空间，其中所述重要性评判标准搜索空间用于计算所述待剪枝的图像处理模型中每一层卷积层需要剪枝的部分；
[0009]基于所述重要性评判标准搜索空间进行反向传播并更新所述重要性评判标准搜索空间的参数；
[0010]对基于最终评判标准剪枝后的图像处理模型进行微调；
[0011]将微调后的图像处理模型部署于终端，以通过所述微调后的图像处理模型进行图像处理。
[0012]进一步地，所述待剪枝的图像处理模型中包含L层卷积层且标注L层的卷积核信息。
[0013]进一步地，在所述重要性评判标准搜索空间中：
[0014]通过计算选择第i种重要性评判标准的概率来选择第l层卷积层的评判标准：
[0015]，
[0016]其中，表示第l层卷积层的重要性评判标准搜索空间第个重要性判断标准超参数，，表示重要性评判标准的数量；
[0017]采用Gumble
‑
Softmax离散分布取样的方法对所述概率p进行处理：
[0018]，
[0019]，
[0020]其中是0到1的均匀分布，为其中一个样本，表示独立分布的随机变量噪声，是softmax的温度系数，当从大到小变化时，会从均匀分布到固定选取一个元素。
[0021]进一步地，所述重要性评判标准的数目S=5，5种所述重要性评判标准分别为：（1）评判标准，（2）评判标准，（3）几何中值评判标准，（4）选用泰勒近似展开剪枝前后损失函数的变化计算可去除部分特征映射导致的损失变化的评判标准，（5）选用APoZ激活值作为评判标准。
[0022]进一步地，在所述待剪枝的图像处理模型的前向传播中加入重要性评判标准搜索空间后，对重要性评判标准搜索空间中选择不同重要性评判标准的输出特征图进行对齐。
[0023]进一步地，对重要性评判标准搜索空间中选择不同重要性评判标准的输出特征图进行对齐，具体为：
[0024]，
[0025]其中为对齐后的特征图，为选择第i种重要性评判标准的概率，为选择第
i种评判标准剪枝后输出特征图，操作对保留相同位置的特征图加权和。
[0026]进一步地，基于所述重要性评判标准搜索空间进行反向传播并更新所述重要性评判标准搜索空间的参数，包括：
[0027]对于层的图像处理模型，通过最小化评判标准损失来训练重要性评判标准搜索空间；
[0028]在所述重要性评判标准搜索空间训练完成后，通过最小化数据集中验证集上的损失来计算结构参数：
[0029]，
[0030]，
[0031]，
[0032]其中是调整后的评判标准搜索空间，是评判标准参数集合，是评判标准搜索空间的损失，是修剪网络中的计算损失，是平衡和的权重。
[0033]根据本申请实施例的第二方面，提供一种基于可学习重要性评判标准剪枝的图像处理装置，包括：
[0034]获取模块，用于获取待剪枝的图像处理模型；
[0035]加入模块，用于在所述待剪枝的图像处理模型的前向传播中，加入重要性评判标准搜索空间，其中所述重要性评判标准搜索空间用于计算所述待剪枝的图像处理模型中每一层卷积层需要剪枝的部分；
[0036]更新模块，用于基于所述重要性评判标准搜索空间进行反向传播并更新所述重要性评判标准搜索空间的参数；
[0037]微调模块，用于对基于最终评判标准剪枝后的图像处理模型进行微调；
[0038]部署模块，用于将微调后的图像处理模型部署于终端，以通过所述微调后的图像处理模型进行图像处理。
[0039]根据本申请实施例的第三方面，提供一种电子设备，包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于可学习重要性评判标准剪枝的图像处理方法，其特征在于，包括：获取待剪枝的图像处理模型；在所述待剪枝的图像处理模型的前向传播中，加入重要性评判标准搜索空间，其中所述重要性评判标准搜索空间用于计算所述待剪枝的图像处理模型中每一层卷积层需要剪枝的部分；基于所述重要性评判标准搜索空间进行反向传播并更新所述重要性评判标准搜索空间的参数；对基于最终评判标准剪枝后的图像处理模型进行微调；将微调后的图像处理模型部署于终端，以通过所述微调后的图像处理模型进行图像处理。2.根据权利要求1所述的方法，其特征在于，所述待剪枝的图像处理模型中包含L层卷积层且标注L层的卷积核信息。3.根据权利要求1所述的方法，其特征在于，在所述重要性评判标准搜索空间中：通过计算选择第i种重要性评判标准的概率来选择第l层卷积层的评判标准：，其中，表示第l层卷积层的重要性评判标准搜索空间第个重要性判断标准超参数，，表示重要性评判标准的数量；采用Gumble
‑
Softmax离散分布取样的方法对所述概率p进行处理：，，其中是0到1的均匀分布，为其中一个样本，表示独立分布的随机变量噪声，是softmax的温度系数，当从大到小变化时，会从均匀分布到固定选取一个元素。4.根据权利要求3所述的方法，其特征在于，所述重要性评判标准的数目S=5，5种所述重要性评判标准分别为：（1）评判标准，（2）评判标准，（3）几何中值评判标准，（4）选用泰勒近似展开剪枝前后损失函数的变化计算可去除部分特征映射导致的损失变化的评判标准，（5）选用APoZ激活值作为评判标准。5.根据权利要求1所述的方法，其特征在于，在所述待剪枝的图像处理模型的前向传播中加入重要性评判标准搜索空间后，对重要性评判标准搜索空间中选择不同重要性评判标准的输出特征图进行对齐。6.根据权利要求5所述的方法，其特征...

【专利技术属性】
技术研发人员：李超，陈启运，刁博宇，宫禄齐，
申请(专利权)人：之江实验室，
类型：发明
国别省市：