图像处理方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例提供了一种图像处理方法、装置、电子设备及存储介质，包括：获取待处理图像；将待处理图像输入到图像处理模型中，基于待处理模型的输出得到待处理图像的图像处理结果；其中，图像处理模型包括多个层级的特征处理子网络，每个层级包括不同深度的特征处理节点，对于除最后一个层级的之外的各层级的每个特征处理节点，基于该特征处理节点中包括的门控网络确定特征处理节点的输出特征图，以形成动态的图像处理模型，并基于图像处理模型中最后一个层级的各特征处理节点所输出的输出特征图，得到待处理图像的处理结果。本申请实施例中可以自适应地选择已知网络结构，适用于不同尺度分布的图像，对实际运行计算量进行控制，降低了计算量。

Image processing method, device, electronic equipment and storage medium

【技术实现步骤摘要】
图像处理方法、装置、电子设备及存储介质
本申请涉及图像处理
，具体而言，本专利技术涉及一种图像处理方法、装置、电子设备及存储介质。
技术介绍
现有针对图像处理的网络结构均为使用预先定义好的静态网络对输入图片进行预测，主要分为手工设计的网络和网络结构搜索两种。其中，手工设计的网络一般使用多个层次特征图融合的方法来丰富特征图的语的细节信，以建立特征图之间的上下文关系。而网络结构搜索主要使用基于强化学习或梯度更新的方法,在一个数据集去拟合一个固定的网络结构。但是，在实际应用中，待处理图像的尺寸分布往往有很大的差别，例如在一张图片中既有占图像很小比例的前景物体，也有占图像大部分比例的背景区域，若使用现有技术中的图像处理的网络结构，由于其均为固定的结构，对于这种尺寸分布相差很大的图像将无法准确地建立特征图之间的上下文关系，进而无法得到准确地处理结果。
技术实现思路
本申请的目的旨在至少能解决上述的技术缺陷之一。第一方面，本申请实施例提供了一种图像处理方法，该方法包括：获取待处理图像；将待处理图像输入到图像处理模型中，基于图像处理模型的输出得到待处理图像的图像处理结果；其中，图像处理模型包括多个层级的特征处理子网络，每个层级包括不同深度的特征处理节点，对于除最后一个层级的之外的各层级的每个特征处理节点，基于该特征处理节点中包括的门控网络确定特征处理节点的输出特征图，以形成动态的图像处理模型，并基于图像处理模型中最后一个层级的各特征处理节点所输出的输出特征图，得到待处理图像的处理结果。第一方面可选的实施例中，对于除最后一个层级的之外的各层级的每个特征处理节点，基于该特征处理节点中包括的门控网络确定特征处理节点的输出特征图，包括：基于特征处理节点的输入特征图，确定初始输出特征图；将特征处理节点的输入特征图输入至门控网络，以确定特征处理节点对应于各尺寸的输出特征图的使用概率；基于初始输出特征图、以及所确定出的对应于各尺寸的特征图的使用概率，确定特征处理节点的输出特征图。第一方面可选的实施例中，各尺寸的特征图的使用概率包括针对初始特征图进行上采样处理的使用概率、进行分辨率不变处理的使用概率、以及进行分辨率下采样处理的使用概率中的至少两种。第一方面可选的实施例中，基于初始输出特征图、以及所确定出的对应于各尺寸的特征图的使用概率，确定特征处理节点的输出特征图，包括：对于使用概率大于设定阈值的每一个使用概率，对初始输出特征图分别进行相对应的尺寸的特征提取，以确定特征处理节点的输出特征图。第一方面可选的实施例中，若特征处理节点对应于各尺寸的输出特征图的使用概率均不大于设定阈值，则不执行基于特征处理节点的输入特征图，确定初始输出特征图的步骤。第一方面可选的实施例中，每个特征处理节点中还包括依次级联的卷积层和残差层，依次级联的卷积层和残差层用于基于特征处理节点的输入特征图，确定初始输出特征图。第一方面可选的实施例中，门控网络中包括神经网络和激活函数层，将特征处理节点的输入特征图输入至门控网络，以确定特征处理节点对应于各尺寸的输出特征图的使用概率，包括：基于门控网络中包括的神经网络，确定特征处理节点对应于各尺寸的输出特征图的初始使用概率；基于激活函数对各尺寸的输出特征图的初始使用概率进行激活，得到特征处理节点对应于各尺寸的输出特征图的使用概率。第二方面，本申请实施例提供了一种图像处理装置，包括：图像获取模块，用于获取待处理图像；图像处理结果确定模块，用于将待处理图像输入到图像处理模型中，基于图像处理模型的输出得到待处理图像的图像处理结果；其中，图像处理模型包括多个层级的特征处理子网络，每个层级包括不同深度的特征处理节点，对于除最后一个层级的之外的各层级的每个特征处理节点，基于该特征处理节点中包括的门控网络确定特征处理节点的输出特征图，以形成动态的图像处理模型，并基于图像处理模型中最后一个层级的各特征处理节点所输出的输出特征图，得到待处理图像的处理结果。第二方面可选的实施例中，对于除最后一个层级的之外的各层级的每个特征处理节点，图像处理模型在基于该特征处理节点中包括的门控网络确定特征处理节点的输出特征图时，具体用于：基于特征处理节点的输入特征图，确定初始输出特征图；将特征处理节点的输入特征图输入至门控网络，以确定特征处理节点对应于各尺寸的输出特征图的使用概率；基于初始输出特征图、以及所确定出的对应于各尺寸的特征图的使用概率，确定特征处理节点的输出特征图。第二方面可选的实施例中，各尺寸的特征图的使用概率包括针对初始特征图进行上采样处理的使用概率、进行分辨率不变处理的使用概率、以及进行分辨率下采样处理的使用概率中的至少两种。第二方面可选的实施例中，图像处理模型在基于初始输出特征图、以及所确定出的对应于各尺寸的特征图的使用概率，确定特征处理节点的输出特征图时，具体用于：对于使用概率大于设定阈值的每一个使用概率，对初始输出特征图分别进行相对应的尺寸的特征提取，以确定特征处理节点的输出特征图。第二方面可选的实施例中，若特征处理节点对应于各尺寸的输出特征图的使用概率均不大于设定阈值，则不执行基于特征处理节点的输入特征图，确定初始输出特征图的步骤。第二方面可选的实施例中，每个特征处理节点中还包括依次级联的卷积层和残差层，依次级联的卷积层和残差层用于基于特征处理节点的输入特征图，确定初始输出特征图。第二方面可选的实施例中，门控网络中包括神经网络和激活函数层，图像处理模型在将特征处理节点的输入特征图输入至门控网络，以确定特征处理节点对应于各尺寸的输出特征图的使用概率时，具体用于：基于门控网络中包括的神经网络，确定特征处理节点对应于各尺寸的输出特征图的初始使用概率；基于激活函数对各尺寸的输出特征图的初始使用概率进行激活，得到特征处理节点对应于各尺寸的输出特征图的使用概率。第三方面，本申请实施例提供了一种电子设备，其特征在于，包括处理器和存储器：存储器被配置用于存储机器可读指令，指令在由处理器执行时，使得处理器执行第一方面中的任一项方法。第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，计算机存储介质用于存储计算机指令，当其在计算机上运行时，使得计算机可以执行第一方面中的任一项方法。本申请实施例提供的技术方案带来的有益效果是：在本申请实施例中，由于图像处理模型中包括多个层级的特征处理子网络，并且每个层级的特征处理子网络中还包括不同深度的特征处理节点，也就是说，该图像处理模型中包含大量的网络结构,从而在根据输入的待处理图像进行动态选择的过程中，可以自适应地选择多个已知网络结构,进而可以适用于不同尺度分布的图像。进一步的，由于除最后一个层级的之外的各层级的每个特征处理节点包括了用于控制输出特征图的门控网络，此时可以自适应地关闭不重要的特征处理节点,从而可本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n获取待处理图像；/n将所述待处理图像输入到图像处理模型中，基于所述图像处理模型的输出得到所述待处理图像的图像处理结果；/n其中，所述图像处理模型包括多个层级的特征处理子网络，每个层级包括不同深度的特征处理节点，对于除最后一个层级的之外的各层级的每个特征处理节点，基于该特征处理节点中包括的门控网络确定所述特征处理节点的输出特征图，以形成动态的图像处理模型，并基于所述图像处理模型中最后一个层级的各特征处理节点所输出的输出特征图，得到所述待处理图像的处理结果。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
获取待处理图像；
将所述待处理图像输入到图像处理模型中，基于所述图像处理模型的输出得到所述待处理图像的图像处理结果；
其中，所述图像处理模型包括多个层级的特征处理子网络，每个层级包括不同深度的特征处理节点，对于除最后一个层级的之外的各层级的每个特征处理节点，基于该特征处理节点中包括的门控网络确定所述特征处理节点的输出特征图，以形成动态的图像处理模型，并基于所述图像处理模型中最后一个层级的各特征处理节点所输出的输出特征图，得到所述待处理图像的处理结果。


2.根据权利要求1所述的方法，其特征在于，对于除最后一个层级的之外的各层级的每个特征处理节点，所述基于该特征处理节点中包括的门控网络确定所述特征处理节点的输出特征图，包括：
基于所述特征处理节点的输入特征图，确定初始输出特征图；
将所述特征处理节点的输入特征图输入至所述门控网络，以确定所述特征处理节点对应于各尺寸的输出特征图的使用概率；
基于所述初始输出特征图、以及所确定出的对应于各尺寸的特征图的使用概率，确定所述特征处理节点的输出特征图。


3.根据权利要求2所述的方法，其特征在于，所述各尺寸的特征图的使用概率包括针对所述初始特征图进行上采样处理的使用概率、进行分辨率不变处理的使用概率、以及进行分辨率下采样处理的使用概率中的至少两种。


4.根据权利要求2所述的方法，其特征在于，所述基于所述初始输出特征图、以及所确定出的对应于各尺寸的特征图的使用概率，确定所述特征处理节点的输出特征图，包括：
对于使用概率大于设定阈值的每一个使用概率，对所述初始输出特征图分别进行相对应的尺寸的特征提取，以确定所述特征处理节点的输出特征图。


5.根据权利要求4所述的方法，其特征在于，若所述特征处理节点对应于各尺寸的输出特征图的使用概率均不大于设定阈值，则不执行所述...

【专利技术属性】
技术研发人员：李彦玮，宋林，黎泽明，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：北京;11