本发明专利技术公开了一种基于贪心策略反向通道剪枝的图像处理方法及装置，该方法包括：获取图像数据集和待剪枝图像处理网络，对待剪枝图像处理网络进行预训练，得到预训练模型，其中预训练过程中所使用的图像集与图像数据集分布相似或相同；将预训练模型划分为特征提取量化模块和输出模块，其中特征提取量化模块作为剪枝对象；根据基于贪心策略的通道选择方法对特征提取量化模块进行反向的逐层通道剪枝，并在每层剪枝完成后进行预定轮次的微调；对进行反向的逐层通道剪枝后的预训练模型在图像数据集上进行一定轮次的微调，得到微调后的图像处理模型；将微调后的图像处理模型部署于终端，以通过微调后的图像处理模型进行图像处理。理。理。
【技术实现步骤摘要】
一种基于贪心策略反向通道剪枝的图像处理方法及装置
[0001]本专利技术属于深度学习模型压缩与推理加速领域，尤其涉及一种基于贪心策略反向通道剪枝的图像处理方法及装置。
技术介绍
[0002]深度学习是通过构建人工神经网络对样本数据的内在规律和表示层次进行学习的算法，它通过数据驱动使机器学习样本特征来替代传统的人工提取特征。它目前尤其被广泛应用在图像处理领域。深度学习通过提高模型复杂度来满足图像处理任务对精度的要求，但是通常会同时造成更多的模型参数、需要更大的运行内存以及极大的运算量，最终导致模型难以部署到资源受限的计算平台，也难以满足如自动驾驶任务对实时性的要求。
[0003]模型剪枝通过移除模型中大量冗余参数在几乎不损失精度的情况下减少模型所需的资源，提高图像处理任务的实时性能。传统的按照从输入层到输出层的逐层剪枝方法会造成剪枝造成的误差逐渐积累，使得位置上越靠后的卷积层受到更多误差的影响。但是靠近输出的卷积层通常包含更多的卷积核和更大的感受野，能够捕捉更广阔的上下文信息，并且可以将前面层次提取的特征进行组合和整合，形成更加复杂的高级特征表示。因此，靠近输出的卷积层可能对最终的效果产生更为显著的影响。为了减小靠近输出卷积层受剪枝误差的影响，本专利技术提出基于贪心策略从输出层到输入层的反向通道剪枝方法。
技术实现思路
[0004]针对现有技术存在的问题，本申请实施例的目的是提供一种基于贪心策略反向通道剪枝的图像处理方法及装置，从特征提取量化模块最后一层开始指导前一层的通道剪枝。
[0005]根据本申请实施例的第一方面，提供一种基于贪心策略反向通道剪枝的图像处理方法，包括：
[0006]获取图像数据集和待剪枝图像处理网络，对所述待剪枝图像处理网络进行预训练，得到预训练模型；
[0007]将所述预训练模型划分为特征提取量化模块和输出模块，其中所述特征提取量化模块作为剪枝对象；
[0008]根据基于贪心策略的通道选择方法对所述特征提取量化模块进行反向的逐层通道剪枝，并在每层剪枝完成后进行预定轮次的微调；
[0009]对进行反向的逐层通道剪枝后的预训练模型在所述图像数据集上进行预定轮的微调，得到微调后的图像处理模型；
[0010]将所述微调后的图像处理模型部署于终端，以通过所述微调后的图像处理模型进行图像处理。
[0011]进一步地，步骤（1）中，所述图像数据集中，每个图像样本表示为，其中，n为所述图像数据集中图像样本的数量，表示图像的像素值，表示图像对应
的标签。
[0012]进一步地，所述特征提取量化模块为所述预训练模型中用于处理模型的输入并输出抽象化的向量表示特征的模块，所述输出模块为所述预训练模型中用于将所述特征提取量化模块输出的向量处理为应用场景下的输出类型。
[0013]进一步地，根据基于贪心策略的通道选择方法对所述特征提取量化模块进行反向的逐层通道剪枝，具体为：
[0014]从所述特征提取量化模块的最后一层开始，按从后往前的顺序依次将每一层作为操作层，并对所述操作层通过基于贪心策略的通道选择方法进行剪枝，直至所述特征提取量化模块的第一层剪枝完毕。
[0015]进一步地，对于第i层剪枝时，所述基于贪心策略的通道选择方法包括：
[0016]（a）初始化剪枝集合、保留集合并设置剪枝比率；
[0017]（b）判断所述剪枝集合中的通道数占第i层总通道数的比率是否达到所述剪枝比率；
[0018]（c）若未达到，则通过计算通道剪枝前后的误差，找出所述剪枝集合的补集中剪枝前后影响最小的通道，将该通道移动至所述剪枝集合中，返回至步骤（b）；
[0019]（d）若已达到，则在第i层中移除所述剪枝集合中的所有通道。
[0020]进一步地，根据基于贪心策略的通道选择方法对所述特征提取量化模块进行反向的逐层通道剪枝，具体为：
[0021]将所述特征提取量化模块的最后一层作为操作层，根据基于贪心策略的通道选择方法对所述操作层进行剪枝；
[0022]将当前操作层的上一层更新为操作层，根据基于贪心策略的通道选择方法对所述操作层进行剪枝，直至完成对整个特征提取量化模块的剪枝。
[0023]进一步地，通过计算通道剪枝前后的误差，找出所述剪枝集合的补集中剪枝前后影响最小的通道，将该通道移动至所述剪枝集合中,包括：
[0024]对于保留集合中的每个通道，计算移除之后每个图像样本的特征提取量化模块输出；
[0025]根据，计算特征提取量化模块移除前后的L2范数作为通道重要性的衡量指标s：
[0026][0027]选择使得最小的作为本次迭代过程中移除的通道，即将该通道从保留集合移动到剪枝集合。
[0028]根据本申请实施例的第二方面，提供一种基于贪心策略反向通道剪枝的图像处理装置，包括：
[0029]获取模块，用于获取图像数据集和待剪枝图像处理网络，对所述待剪枝图像处理网络进行预训练，得到预训练模型；
[0030]划分模块，用于将所述预训练模型划分为特征提取量化模块和输出模块，其中所述特征提取量化模块作为剪枝对象；
[0031]剪枝模块，用于根据基于贪心策略的通道选择方法对所述特征提取量化模块进行反向的逐层通道剪枝，并在每层剪枝完成后进行预定轮次的微调；
[0032]微调模块，用于对进行反向的逐层通道剪枝后的预训练模型在所述图像数据集上进行预定轮的微调，得到微调后的图像处理模型；
[0033]部署模块，用于将所述微调后的图像处理模型部署于终端，以通过所述微调后的图像处理模型进行图像处理。
[0034]根据本申请实施例的第三方面，提供一种电子设备，包括：
[0035]一个或多个处理器；
[0036]存储器，用于存储一个或多个程序；
[0037]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的方法。
[0038]根据本申请实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如第一方面所述方法的步骤。
[0039]本申请的实施例提供的技术方案可以包括以下有益效果：
[0040]由上述实施例可知，本申请考虑到通道选择中重要性评估的前向过程与逐层剪枝方向相同造成误差积累，提出了基于贪心策略的反向通道剪枝方法，一方面减少前述两者方向相同造成的积累效应，另一方面保证靠近输出层的卷积层受到更小的误差影响，以保证靠后卷积层的精确剪枝从而维持图像处理任务的精度并提高实时性能。
[0041]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[0042]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
[0043]图1是根据一示例性实施例示出的一种基于贪心策略反向通道剪枝的图像处理方法的流程本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于贪心策略反向通道剪枝的图像处理方法，其特征在于，包括：获取图像数据集和待剪枝图像处理网络，对所述待剪枝图像处理网络进行预训练，得到预训练模型；将所述预训练模型划分为特征提取量化模块和输出模块，其中所述特征提取量化模块作为剪枝对象；根据基于贪心策略的通道选择方法对所述特征提取量化模块进行反向的逐层通道剪枝，并在每层剪枝完成后进行预定轮次的微调；对进行反向的逐层通道剪枝后的预训练模型在所述图像数据集上进行预定轮的微调，得到微调后的图像处理模型；将所述微调后的图像处理模型部署于终端，以通过所述微调后的图像处理模型进行图像处理。2.根据权利要求1所述的方法，其特征在于，步骤（1）中，所述图像数据集中，每个图像样本表示为，其中，n为所述图像数据集中图像样本的数量，表示图像的像素值，表示图像对应的标签。3.根据权利要求1所述的方法，其特征在于，所述特征提取量化模块为所述预训练模型中用于处理模型的输入并输出抽象化的向量表示特征的模块，所述输出模块为所述预训练模型中用于将所述特征提取量化模块输出的向量处理为应用场景下的输出类型。4.根据权利要求1所述的方法，其特征在于，根据基于贪心策略的通道选择方法对所述特征提取量化模块进行反向的逐层通道剪枝，具体为：从所述特征提取量化模块的最后一层开始，按从后往前的顺序依次将每一层作为操作层，并对所述操作层通过基于贪心策略的通道选择方法进行剪枝，直至所述特征提取量化模块的第一层剪枝完毕。5.根据权利要求1所述的方法，其特征在于，对于第i层剪枝时，所述基于贪心策略的通道选择方法包括：（a）初始化剪枝集合、保留集合并设置剪枝比率；（b）判断所述剪枝集合中的通道数占第i层总通道数的比率是否达到所述剪枝比率；（c）若未达到，则通过计算通道剪枝前后的误差，找出所述剪枝集合的补集中剪枝前后影响最小的通道，将该通道移动至所述剪枝集合中，返回至步骤（b）；（d）若已达到，则在第i层中移除所述剪枝集合中的所有通道。6.根据权利要求5所述的方法，其特征在于，根...
【专利技术属性】
技术研发人员：刁博宇，杨雨，李超，
申请(专利权)人：之江实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。