图像处理方法、装置、电子设备和计算机存储介质制造方法及图纸

本发明专利技术提供了一种图像处理方法、装置、电子设备和计算机存储介质，该方法包括：获取待处理图像和目标神经网络；计算目标神经网络的每个卷积层中卷积核的重要程度；基于卷积核的重要程度对目标神经网络中的卷积核进行剪枝训练处理，得到剪枝训练之后的目标神经网络，利用剪枝训练之后的目标神经网络对待处理图像进行图像处理，得到待处理图像的图像处理结果。本发明专利技术通过剪枝训练之后的目标神经网络对待处理图像进行图像处理时，可以大大提高图像处理的速度，减少了处理流程，同时节省了内存资源，使得剪枝训练之后的目标神经网络可以在移动设备上高速快速运行。

Image Processing Method, Device, Electronic Equipment and Computer Storage Media

The invention provides an image processing method, device, electronic equipment and computer storage medium. The method includes: acquiring the image to be processed and the target neural network; calculating the importance of convolution core in each convolution layer of the target neural network; pruning the convolution core in the target neural network based on the importance of the convolution core, and obtaining the pruning training after the pruning training. Target neural network, after pruning training, uses the target neural network to process the image for image processing, and obtains the image processing results of the image to be processed. The target neural network after pruning training can greatly improve the speed of image processing, reduce the processing flow and save memory resources, so that the target neural network after pruning training can run fast and fast on mobile devices.

【技术实现步骤摘要】
图像处理方法、装置、电子设备和计算机存储介质
本专利技术涉及图像处理的
，尤其是涉及一种图像处理方法、装置、电子设备和计算机存储介质。
技术介绍
随着深度学习技术的发展，越来越多的图像处理问题(图像降噪，图像超分辨率等)通过神经网络取得了超越传统算法的效果。目前，在通过神经网络对待处理图像进行图像处理时，由于神经网络本身巨大的计算量，导致了图像处理的效率低下，流程繁杂且浪费内存资源。综合，现有的图像处理方法存在效率低下，流程繁杂，内存资源浪费严重的技术问题。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种图像处理方法、装置、电子设备和计算机存储介质，本专利技术能够提高图像处理的速度，减少了图像处理流程，同时节省了图像处理器的内存资源。第一方面，本专利技术实施例提供了一种图像处理方法，包括：获取待处理图像和目标神经网络；所述目标神经网络中包含至少一个卷积层；基于目标参量计算所述目标神经网络的每个卷积层中卷积核的重要程度；所述目标参量包括：所述卷积核的计算复杂度，所述卷积核对所述目标神经网络的输出结果的精确度的影响程度，所述卷积核对所述目标神经网络的网络结构的影响度；基于所述卷积本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：获取待处理图像和目标神经网络；所述目标神经网络中包含至少一个卷积层；基于目标参量计算所述目标神经网络的每个卷积层中卷积核的重要程度；所述目标参量包括：所述卷积核的计算复杂度，所述卷积核对所述目标神经网络的输出结果的精确度的影响程度，所述卷积核对所述目标神经网络的网络结构的影响度；基于所述卷积核的重要程度对所述目标神经网络中的卷积核进行剪枝训练处理，得到剪枝训练之后的目标神经网络；利用所述剪枝训练之后的目标神经网络对所述待处理图像进行图像处理，得到图像处理结果。

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取待处理图像和目标神经网络；所述目标神经网络中包含至少一个卷积层；基于目标参量计算所述目标神经网络的每个卷积层中卷积核的重要程度；所述目标参量包括：所述卷积核的计算复杂度，所述卷积核对所述目标神经网络的输出结果的精确度的影响程度，所述卷积核对所述目标神经网络的网络结构的影响度；基于所述卷积核的重要程度对所述目标神经网络中的卷积核进行剪枝训练处理，得到剪枝训练之后的目标神经网络；利用所述剪枝训练之后的目标神经网络对所述待处理图像进行图像处理，得到图像处理结果。2.根据权利要求1所述的方法，其特征在于，基于目标参量计算所述目标神经网络的每个卷积层中卷积核的重要程度包括：按照预设的剪枝阶段，计算待剪枝神经网络的每个卷积层中卷积核的重要程度，其中，所述待剪枝神经网络为当前剪枝阶段的上一剪枝阶段剪枝之后的目标神经网络；基于所述卷积核的重要程度对所述目标神经网络中的卷积核进行剪枝训练处理包括：基于各个剪枝阶段计算得到的重要程度，对上一剪枝阶段剪枝之后的目标神经网络中的卷积核进行剪枝训练处理。3.根据权利要求2所述的方法，其特征在于，所述预设的剪枝阶段包括：第一剪枝阶段，第二剪枝阶段和第三剪枝阶段；基于各个剪枝阶段计算得到的重要程度，对上一剪枝阶段剪枝之后的目标神经网络中的卷积核进行剪枝训练处理包括：在所述第一剪枝阶段，基于所述第一剪枝阶段计算得到的重要程度，对所述目标神经网络的卷积核进行剪枝训练处理，得到第一神经网络；在所述第二剪枝阶段，基于所述第二剪枝阶段计算得到的重要程度，对所述第一神经网络的卷积核进行剪枝训练处理，得到第二神经网络；在所述第三剪枝阶段，基于所述第三剪枝阶段计算得到的重要程度，对所述第二神经网络的卷积核进行剪枝训练处理，得到所述剪枝训练之后的目标神经网络。4.根据权利要求3所述的方法，其特征在于，所述第一剪枝阶段包括多次剪枝操作，基于所述第一剪枝阶段计算得到的重要程度，对所述目标神经网络的卷积核进行剪枝训练处理包括：获取所述第一剪枝阶段的第i次剪枝操作计算得到的所述卷积核的重要程度，i为大于1的正整数；基于所述第i次剪枝操作计算得到的所述卷积核的重要程度对第i-1次剪枝操作之后得到的第i-1个子神经网络进行剪枝操作，得到第i个子神经网络，并对所述第i个子神经网络进行训练；其中，在对所述第i个子神经网络进行训练时，若所述第i个子神经网络的训练结果满足第一预设条件，则将所述第i-1个子神经网络作为所述第一神经网络；若所述第i个子神经网络的训练结果不满足所述第一预设条件，则对所述第i个子神经网络进行第i+1次剪枝操作。5.根据权利要求4所述的方法，其特征在于，基于所述第i次剪枝操作计算得到的所述卷积核的重要程度对第i-1次剪枝操作之后得到的第i-1个子神经网络进行剪枝操作包括：对所述第i次剪枝操作计算得到的所述卷积核的重要程度进行排序，得到排序序列Ai；删除所述排序序列Ai中前N个重要程度所对应的卷积核，从而得到所述第i个子神经网络，其中，N为所述目标神经网络中卷积核总量的1％至2％之间的预设值。6.根据权利要求4所述的方法，其特征在于，对所述第i个子神经网络进行训练包括：利用训练样本和第一损失函数对所述第i个子神经网络进行训练，所述第一损失函数包括：均方误差损失函数；其中，所述第一预设条件为：训练后得到的所述第一损失函数的函数值大于第一预设阈值；或者，第一目标卷积层中卷积核的权重分布在第i次剪枝操作前后的距离大于第一预设距离；所述第一目标卷积层为所述第i-1个子神经网络中的任意卷积层。7.根据权利要求3所述的方法，其特征在于，在所述第二剪枝阶段，基于所述第二剪枝阶段计算得到的重要程度，对所述第一神经网络的卷积核进行剪枝训练处理包括：第一剪枝步骤，对所述第一神经网络中的特征提取层进行剪枝操作，当满足剪枝结束条件时，得到第一子神经网络；第二剪枝步骤，对所述第一子神经网络中的图像还原层进行剪枝操作，当满足剪枝结束条件时，得到第二子神经网络；其中，若剪枝数量未达到所述目标神经网络中卷积核总量的预设数值，则将所述第二子神经网络作为所述第一神经网络，并返回继续执行所述第一剪枝步骤和所述第二剪枝步骤；若所述剪枝数量达到所述目标神经网络中卷积核总量的预设数值，则将所述第二子神经网络作为所述第二神经网络。8.根据权利要求7所述的方法，其特征在于，所述第二剪枝阶段包括特征提取层剪枝阶段；对所述第一神经网络中的特征提取层进行剪枝操作包括：获取所述特征提取层剪枝阶段的第j次剪枝操作计算得到的特征提取层中的卷积核的重要程度，其中，j为大于1的正整数；基于所述第j次剪枝操作计算得到的特征提取层中的卷积核的重要程度对第j-1次剪枝操作之后得到的第j-1个子神经网络进行剪枝操作，得到第j个子神经网络，并对所述第j个子神经网络进行训练；其中，在对所述第j个子神经网络进行训练时，若所述第j个子神经网络的训练结果满足第二预设条件，则确定满足所述剪枝结束条件，并将所述第j-1个子神经网络作为所述第一子神经网络；若所述第j个子神经网络的训练结果不满足所述第二预设条件，则对所述第j个子神经网络进行第j+1次剪枝操作。9.根据权利要求7所述的方法，其特征在于，所述第二剪枝阶段包括图像还原层剪枝阶段；对所述第一子神经网络中的图像还原层进行剪枝操作包括：获取所述图像还原层剪枝阶段的第k次剪枝操作计算得到的图像还原层中的卷积核的重要程度，其中，k为大于1的正整数；基于所述第k次剪枝操作计算得到的图像还原层中的卷积核的重要程度对第k-1次剪枝操作之后得到的第k-1个子神经网络进行剪枝操作，得到第k个子神经网络，并对所述第k个子神经网络进行训练；其中，在对所述第k个子神经网络进行训练时，若所述第k个子神经网络的训练结果满足第三预设条件，则确定满足所述剪枝结束...

【专利技术属性】
技术研发人员：牛然森，黄海斌，
申请(专利权)人：北京旷视科技有限公司，
类型：发明
国别省市：北京,11