图像处理方法、装置、存储介质及电子设备制造方法及图纸

本申请公开了一种图像处理方法、装置、存储介质及电子设备。该方法包括：获取控制信息；根据所述控制信息以及神经网络模型中各个卷积层的敏感度，生成网络控制参数，所述网络控制参数用于从所述各个卷积层中确定出不参与计算的目标卷积核；接收多帧图像；根据所述网络控制参数对所述多帧图像进行计算；将计算后的多帧图像中的相邻帧图像进行融合。本申请可以减少计算量。以减少计算量。以减少计算量。

【技术实现步骤摘要】
图像处理方法、装置、存储介质及电子设备


[0001]本申请属于电子设备
，尤其涉及一种图像处理方法、装置、存储介质及电子设备。

技术介绍

[0002]随着神经网络技术的不断发展，神经网络的人工智能(Artificial Intelligence，AI)模型越来越多的被应用到图像处理领域，采用AI模型可以替代图像处理过程，然而现有的图像处理过程存在计算量大的问题。

技术实现思路

[0003]本申请实施例提供一种图像处理方法、装置、存储介质及电子设备，可以减少计算量。
[0004]第一方面，本申请实施例提供一种图像处理方法，所述方法包括：
[0005]获取控制信息；
[0006]根据所述控制信息以及神经网络模型中各个卷积(Convolution，Conv*)层的敏感度，生成网络控制参数，所述网络控制参数用于从所述各个卷积层中确定出不参与计算的目标卷积核；
[0007]接收多帧图像；
[0008]根据所述网络控制参数对所述多帧图像进行计算；
[0009]将计算后的多帧图像中的相邻帧图像进行融合。
[0010]第二方面，本申请实施例提供一种图像处理装置，所述装置包括：
[0011]获取模块，用于获取控制信息；
[0012]生成模块，用于根据所述控制信息以及神经网络模型中各个卷积层的敏感度，生成网络控制参数，所述网络控制参数用于从所述各个卷积层中确定出不参与计算的目标卷积核；
[0013]接收模块，用于接收多帧图像；
[0014]计算模块，用于根据所述网络控制参数对所述多帧图像进行计算；
[0015]融合模块，用于将计算后的多帧图像中的相邻帧图像进行融合。
[0016]第三方面，本申请实施例提供一种存储介质，其上存储有计算机程序，当所述计算机程序在计算机上执行时，使得所述计算机执行本申请实施例提供的图像处理方法。
[0017]第四方面，本申请实施例还提供一种电子设备，包括存储器以及处理器，所述处理器通过调用所述存储器中存储的计算机程序，用于执行本申请实施例提供的图像处理方法。
[0018]在本申请实施例中，电子设备可以获取控制信息，根据控制信息以及神经网络模型中各个卷积层的敏感度，生成网络控制参数，网络控制参数用于从各个卷积层中确定出不参与计算的目标卷积核。电子设备接收多帧图像，根据网络控制参数对多帧图像进行计
算，由于网络控制参数指定的目标卷积核是不参与计算的，这样就减少了计算量。
附图说明
[0019]下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其有益效果显而易见。
[0020]图1是本申请实施例提供的图像处理方法的流程示意图。
[0021]图2是相关技术中结构化模型的剪枝示意图。
[0022]图3是相关技术中神经网络模型的工作示意图。
[0023]图4是本申请实施例提供的图像处理方法的另一流程示意图。
[0024]图5是本申请实施例提供的图像处理方法的工作流程示意图。
[0025]图6是本申请实施例提供的图像处理方法的场景示意图。
[0026]图7是本申请实施例提供的设备控制装置的结构示意图。
[0027]图8是本申请实施例提供的电子设备的结构示意图。
[0028]图9是本申请实施例提供的电子设备的另一结构示意图。
具体实施方式
[0029]请参照图示，其中相同的组件符号代表相同的组件，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。
[0030]可以理解的是，本申请实施例的执行主体可以是诸如智能手机或平板电脑等的电子设备。
[0031]请参阅图1，图1是本申请实施例提供的图像处理方法的流程示意图。该图像处理方法的流程可以包括：
[0032]101、获取控制信息。
[0033]随着神经网络技术的不断发展，神经网络的人工智能模型越来越多的被应用到图像处理领域，采用AI模型可以替代图像处理过程，该AI模型即神经网络模型，类似于电子设备的图像信号处理单元(Image Signal Processing，ISP)模块。在将AI模型部署到电子设备平台上时，存在模型大，计算量大，功耗高的问题。如何能够在降低模型精度的情况下，减少模型的计算量，降低模型的功耗成为了热点。
[0034]相关技术中，常见的神经网络压缩方法如下：1、模型的量化；2、模型的剪枝。其中，模型的剪枝分为非结构化模型的剪枝和结构化模型的剪枝两种。
[0035]非结构化模型的剪枝，即稀疏化，在算法训练过程中强制将模型中的某些参数设置为0，芯片在计算过程中，遇到0则跳过计算。非结构化模型的剪枝需要硬件的特殊支持，如果芯片不能支持跳过0的计算，则该非结构化模型的剪枝方案无效。
[0036]请参阅图2，图2是相关技术中结构化模型的剪枝示意图。其中，用实线表示的卷积核是不用裁剪的卷积核，用虚线表示的卷积核是被裁剪的卷积核，比如，卷积核1和卷积核Ai是不用裁剪的卷积核，卷积核2是被裁剪的卷积核。
[0037]结构化模型的剪枝，即通过某种标准，计算出模型中哪些参数是没有意义的，然后按照卷积核(filter)颗粒度进行裁剪，即以卷积核为单位进行裁剪，即最小裁剪单位为卷
积核，将原来的大模型变成一个小模型，从而实现降低计算量，降低功耗的目的。该结构化模型的剪枝主要根据某些标准将原有大模型变成小模型。但是存在标准不统一的问题，有些方案是通过参数的大小裁剪，有些方案是根据梯度的大小裁剪等等，标准不统一或者难以找到绝对的标准，导致裁剪后的模型并非最好的结果，难以保证原模型的精度。针对这种情况，有学者尝试将裁剪后的模型进行进一步训练从而保证模型的精度，但是重训练比较耗时，而且训练难度大。
[0038]相关技术中的模型剪枝方法虽然能减少模型的计算量，降低功耗，但同时也会降低模型的精度。
[0039]请参阅图3，图3是相关技术中神经网络模型的工作示意图。神经网络模型中包含多个卷积层，每个卷积层包含多个卷积核，比如，图3中最左侧的卷积层包含m个卷积核，图3中最右侧的卷积层包含n个卷积核，其中，m、n均为正整数。当将多帧图像输入到神经网络模型后，经过神经网络模型中每个卷积层的卷积运算后，输出去噪后的多帧图像，即输出去除噪点后的多帧图像。
[0040]本申请实施例中，为了能够在不降低模型精度的情况下，减少模型的计算量，降低模型的功耗，可以通过神经网络的剪枝方法实现图像的去噪处理。
[0041]比如，在本申请实施例中，获取用户设置的控制信息，例如可以使用功耗控制模块获取用户设置的控制信息，该功耗控制模块由用户控制。该控制信息可以是速度信息，也可以是功耗信息。其中，速度信息是神经网络模型的计算模块的速度信息，功耗信息是神经网络模型的计算模块的功耗信息。该功耗控制模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取控制信息；根据所述控制信息以及神经网络模型中各个卷积层的敏感度，生成网络控制参数，所述网络控制参数用于从所述各个卷积层中确定出不参与计算的目标卷积核；接收多帧图像；根据所述网络控制参数对所述多帧图像进行计算；将计算后的多帧图像中的相邻帧图像进行融合。2.根据权利要求1所述的图像处理方法，其特征在于，所述控制信息包括功耗信息，所述根据所述控制信息以及神经网络模型中各个卷积层的敏感度，生成网络控制参数，包括：根据所述功耗信息以及所述神经网络模型中各个卷积层的敏感度，确定所述各个卷积层的剪枝比例；根据所述各个卷积层的剪枝比例，生成所述网络控制参数；根据所述网络控制参数对所述各个卷积层中的目标卷积核进行裁剪。3.根据权利要求2所述的图像处理方法，其特征在于，所述功耗信息包括网络功耗裁剪率，所述根据所述功耗信息以及所述神经网络模型中各个卷积层的敏感度，确定所述各个卷积层的剪枝比例，包括：根据所述网络功耗裁剪率以及所述神经网络模型中各个卷积层的敏感度，确定所述各个卷积层的剪枝比例。4.根据权利要求1所述的图像处理方法，其特征在于，所述控制信息包括速度信息，所述根据所述控制信息以及神经网络模型中各个卷积层的敏感度，生成网络控制参数，包括：根据所述速度信息以及所述神经网络模型中各个卷积层的敏感度，确定所述各个卷积层的剪枝比例；根据所述各个卷积层的剪枝比例，生成所述网络控制参数；根据所述网络控制参数对所述各个卷积层中的目标卷积核进行裁剪。5.根据权利要求4所述的图像处理方法，其特...

【专利技术属性】
技术研发人员：赵娟萍，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：