图像处理方法、电子设备及存储介质技术

本申请实施例提供了图像处理方法、装置，该方法包括：利用目标图像修复网络对待修复图像进行修复，得到待修复图像对应的修复后的图像，目标图像修复网络的基本处理模块包括：简单通道注意力模块，被配置为对简单通道注意力模块的输入数据进行全局池化处理，得到输入数据的全局池化结果；基于全局池化结果，对输入数据中的每一个通道进行加权处理，得到简单通道注意力模块的输出数据；简单门模块，被配置为将简单门模块的输入数据划分为简单门模块的第一通道序列和简单门模块的第二通道序列；对第一通道序列和第二通道序列进行元素级相乘，得到简单门模块的输出数据。得到简单门模块的输出数据。得到简单门模块的输出数据。

【技术实现步骤摘要】
图像处理方法、电子设备及存储介质


[0001]本申请涉及神经网络领域，具体涉及图像处理方法、电子设备及存储介质。

技术介绍

[0002]目前，用于图像修复例如图像超分辨率的图像修复网络例如HInet、MIMOnet依赖采用非线性激活函数例如ReLu、GELU的激活层实现与通道相关的非线性映射。采用两个全连接层和两个激活层实现通道注意力即对各个通道进行加权。目前的图像修复网络通常包括堆叠的多个相应的模块，每一个相应的模块分别包括激活层以在每一个相应的模块中与通道相关的非线性映射，每一个相应的模块分别包括两个全连接层和两个激活层以在每一个相应的模块中实现通道注意力，每一个相应的模块分别包括激活层、每一个相应的模块分别包括两个全连接层和两个激活层，图像修复网络的复杂度高。

技术实现思路

[0003]本申请实施例提供一种图像处理方法、装置、电子设备及存储介质。
[0004]本申请实施例提供一种图像处理方法，包括：
[0005]获取待修复图像；
[0006]利用目标图像修复网络对所述待修复图像进行修复，得到所述待修复图像对应的修复后的图像，所述目标图像修复网络包括：基本处理模块集合，所述基本处理模块集合中的基本处理模块包括：
[0007]简单通道注意力模块，被配置为对所述简单通道注意力模块的输入数据进行全局池化处理，得到所述输入数据的全局池化结果；基于所述全局池化结果，对所述输入数据中的每一个通道进行加权处理，以得到所述简单通道注意力模块的输出数据，所述简单通道注意力模块的输出数据包括：所述每一个通道对应的加权后的通道；
[0008]简单门模块，被配置为将所述简单门模块的输入数据划分为所述简单门模块的第一通道序列和所述简单门模块的第二通道序列；对所述第一通道序列和所述第二通道序列进行元素级相乘，以得到简单门模块的输出数据。
[0009]本申请实施例提供一种图像处理装置，包括：
[0010]获取单元，被配置为获取待修复图像；
[0011]修复单元，被配置为利用目标图像修复网络对所述待修复图像进行修复，得到所述待修复图像对应的修复后的图像，所述目标图像修复网络包括：基本处理模块集合，所述基本处理模块集合中的基本处理模块包括：简单通道注意力模块，被配置为对所述简单通道注意力模块的输入数据进行全局池化处理，得到所述输入数据的全局池化结果；基于所述全局池化结果，对所述输入数据中的每一个通道进行加权处理，以得到所述简单通道注意力模块的输出数据，所述简单通道注意力模块的输出数据包括：所述每一个通道对应的加权后的通道；简单门模块，被配置为将所述简单门模块的输入数据划分为所述简单门模块的第一通道序列和所述简单门模块的第二通道序列；对所述第一通道序列和所述第二通
道序列进行元素级相乘，以得到简单门模块的输出数据。
[0012]本申请实施例提供一种电子设备，包括：存储器、处理器及存储在存储器上的计算机程序，该处理器执行该计算机程序以实现上述图像处理方法。
[0013]本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现上述图像处理方法。
[0014]本申请实施例提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述图像处理方法。
[0015]本申请实施例提供的图像处理方法，利用目标图像修复网络对待修复图像进行修复，得到待修复图像对应的修复后的图像。目标图像修复网络的每一个基本处理模块分别包括简单门模块，简单门模块可以将对简单门模块的第一通道序列和简单门模块的第二通道序列进行元素级相乘，以得到简单门模块的输出数据，简单门模块的输出数据中的相应的通道元素是第一通道序列和第二通道序列中的两个相应的通道元素的乘积，简单门模块的输出数据中的相应的通道元素与该两个相应的通道元素之间的映射关系为非线性映射，从而，通过简单门模块实现与通道相关的非线性映射，目标图像修复网络中的每一个基本处理模块均无需包括激活函数层，相比于具有的每一个相应的模块分别包括激活函数层的已有的图像修复网络，本申请中的目标图像修复网络的复杂度较低。目标图像修复网络的每一个基本处理模块分别包括简单通道注意力模块，简单通道注意力模块可以基于简单通道注意力模块的输入数据的全局池化结果，对简单通道注意力模块的输入数据中的每一个通道进行加权处理，得到简单通道注意力模块的输入数据中的每一个通道对应的加权后的通道，相比于具有的每一个相应的模块分别包括两个全连接层和两个激活层的已有的图像修复网络，本申请中的目标图像修复网络的复杂度较低。
附图说明
[0016]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
[0017]图1示出了本申请实施例提供的图像处理方法的流程图；
[0018]图2示出了基本处理模块的一个结构示意图；
[0019]图3示出了本申请实施例提供的图像处理装置的结构框图。
具体实施方式
[0020]下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关专利技术相关的部分。
[0021]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0022]图1示出了本申请实施例提供的图像处理方法的流程图，该方法包括：
[0023]步骤101，获取待修复图像。
[0024]在本申请中，待修复图像可以为需要进行以下修复中的一个或多个的图像：图像超分辨率、图像去噪、图像去雨。
[0025]步骤102，利用目标图像修复网络对待修复图像进行修复，得到待修复图像对应的修复后的图像。
[0026]在本申请中，目标图像修复网络包括：基本处理模块集合，基本处理模块包括多个基本处理模块。
[0027]基本处理模块集合可以提取待修复图像的用于修复的特征，目标图像修复网络可以包括用于基于相应的图像的用于修复的特征生成相应的修复后的图像的模块。用于基于相应的图像的用于修复的特征，生成相应的修复后的图像的模块被预先训练以学习如何基于给定的图像的用于修复的特征生成给定的图像对应的修复后的图像。用于基于相应的图像的用于修复的特征生成相应的修复后的图像的模块基于通过基本处理模块集合提取出的待修复图像的用于修复的特征，生成待修复图像对应的修复后的图像。
[0028]在本申请中，基本处理模块集合中的基本处理模块可以堆叠，基本处理模块集合包括N个基本处理模块，目标图像修复网络的第1个基本处理模块可以连接目标图像修复网络的第2个基本处理模块，目标图像修复网络的第2个基本处理模块可以连接目标图像修复网络的第3个基本处理模块...目标图像修复网络的第N
‑
1个基本处理模块可以连接目标图像修本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取待修复图像；利用目标图像修复网络对所述待修复图像进行修复，得到所述待修复图像对应的修复后的图像，所述目标图像修复网络包括：基本处理模块集合，所述基本处理模块集合中的基本处理模块包括：简单通道注意力模块，被配置为对所述简单通道注意力模块的输入数据进行全局池化处理，得到所述输入数据的全局池化结果；基于所述全局池化结果，对所述输入数据中的每一个通道进行加权处理，以得到所述简单通道注意力模块的输出数据，所述简单通道注意力模块的输出数据包括：所述每一个通道对应的加权后的通道；简单门模块，被配置为将所述简单门模块的输入数据划分为所述简单门模块的第一通道序列和所述简单门模块的第二通道序列；对所述第一通道序列和所述第二通道序列进行元素级相乘，以得到所述简单门模块的输出数据。2.根据权利要求1所述的方法，其特征在于，基于所述全局池化结果，对所述输入数据中的每一个通道进行加权处理，以得到所述简单通道注意力模块的输出数据包括：利用用于生成权重的全连接层基于所述全局池化结果，计算所述输入数据中的每一个通道的权重；对于所述每一个通道，分别将所述通道中的每一个通道元素与所述通道的权重相乘，以得到所述通道对应的加权后的通道。3.根据权利要求1所述的方法，其特征在于，所述基本处理模块包括的简单门模块的数量为两个，所述基本处理模块包括：所述基本处理模块的第一卷积模块、所述基本处理模块的第一1x1卷积层、所述基本处理模块的第二卷积模块、所述基本处理模块的第二1x1卷积层，其中，所述第一卷积模块的输入数据为所述基本处理模块的输入数据，所述第一卷积模块连接所述基本处理模块中的第一个简单门模块，所述第一个简单门模块连接所述基本处理模块中的简单通道注意力模块，所述简单通道注意力模块连接所述第一1x1卷积层，所述第二卷积模块的输入数据为将所述基本处理模块的输入数据与所述第一1x1卷积层的输出数据进行残差连接而得到的残差连接结果，所述第二卷积模块连接所述基本处理模块中的第二个简单门模块，所述第二个简单门模块连接所述第二1x1卷积层，所述基本处理模块的输出数据为将所述第二卷积模块的输入数据与所述第二1x1卷积层的输出数据进行残差连接而得到的残差连接结果。4.根据权利要求1所述的方法，其特征在于，所述目标图像修复网络的类型为编码器
‑
解码器网络；所述目标图像修复网络包括：多个编码器、多个解码器，所述编码器的数量等于所述解码器的数量，所述编码器包括：一个或多个基本处理模块，所述解码器包括：一个或多个...

【专利技术属性】
技术研发人员：陈亮宇，褚孝杰，
申请(专利权)人：深圳旷视金智科技有限公司，
类型：发明
国别省市：