图像处理方法、电子设备及存储介质技术

本申请实施例提供了图像处理方法、装置、电子设备及存储介质，该方法包括：获取待处理图像；利用图像修复网络对待处理图像进行修复，得到修复后的图像，图像修复网络包括：编码器，被配置为对待处理图像进行卷积处理，得到待处理图像的编码特征；至少一个长距离信息捕获模块，长距离信息捕获模块被配置为：在第一特征图中的第一窗口内进行自注意力操作，以得到第一特征；在第二特征图中的第二窗口内进行自注意力操作，以得到第二特征；基于该第一特征和该第二特征，生成该长距离信息捕获模块的输出结果；解码器，被配置为对最后一个长距离信息捕获模块的输出结果进行解码，得到该待处理图像的解码特征，基于该解码特征，得到修复后的图像。后的图像。后的图像。

Image processing method, electronic equipment and storage medium

【技术实现步骤摘要】
图像处理方法、电子设备及存储介质


[0001]本申请涉及神经网络领域，具体涉及图像处理方法、电子设备及存储介质。

技术介绍

[0002]目前，利用卷积神经网络对待处理图像进行修复例如图像超分辨率是被广泛应用的图像修复手段。利用卷积神经网络对待处理图像进行修复，仅利用表示单一类型的信息的特征，即待处理图像的适合通过卷积捕获的像素信息的特征，得到修复后的图像。修复后的图像的修复效果有待提升。

技术实现思路

[0003]本申请实施例提供一种图像处理方法、装置、电子设备及存储介质。
[0004]本申请实施例提供一种图像处理方法，包括：
[0005]获取待处理图像；
[0006]利用图像修复网络对所述待处理图像进行修复，得到修复后的图像，所述图像修复网络包括：
[0007]编码器，被配置为对所述待处理图像进行卷积处理，得到所述待处理图像的编码特征；
[0008]至少一个长距离信息捕获模块，所述长距离信息捕获模块被配置为：将所述长距离信息捕获模块的输入数据划分为所述长距离信息捕获模块的第一特征图序列和所述长距离信息捕获模块的第二特征图序列，其中，第一个长距离信息捕获模块的输入数据为所述编码特征，除了第一个长距离信息捕获模块之外的其他长距离信息捕获模块的输入数据为所述其他长距离信息捕获模块的上一个长距离信息捕获模块的输出结果；在所述第一特征图序列中的第一特征图中的每一个第一窗口内进行自注意力操作，以得到所述长距离信息捕获模块对应的第一特征；在所述第二特征图序列中的第二特征图中的每一个第二窗口内进行自注意力操作，以得到所述长距离信息捕获模块对应的第二特征；基于所述第一特征和所述第二特征，生成所述长距离信息捕获模块的输出结果；
[0009]解码器，被配置为对最后一个长距离信息捕获模块的输出结果进行解码，得到所述待处理图像的解码特征，以及基于所述解码特征，得到修复后的图像。
[0010]本申请实施例提供一种图像处理装置，包括：
[0011]获取单元，被配置为获取待处理图像；
[0012]处理单元，被配置为利用图像修复网络对所述待处理图像进行修复，得到修复后的图像，所述图像修复网络包括：编码器，被配置为对所述待处理图像进行卷积处理，得到所述待处理图像的编码特征；至少一个长距离信息捕获模块，所述长距离信息捕获模块被配置为：将所述长距离信息捕获模块的输入数据划分为所述长距离信息捕获模块的第一特征图序列和所述长距离信息捕获模块的第二特征图序列，其中，第一个长距离信息捕获模块的输入数据为所述编码特征，除了第一个长距离信息捕获模块之外的其他长距离信息捕
获模块的输入数据为所述其他长距离信息捕获模块的上一个长距离信息捕获模块的输出结果；在所述第一特征图序列中的第一特征图中的每一个第一窗口内进行自注意力操作，以得到所述长距离信息捕获模块对应的第一特征；在所述第二特征图序列中的第二特征图中的每一个第二窗口内进行自注意力操作，以得到所述长距离信息捕获模块对应的第二特征；基于所述第一特征和所述第二特征，生成所述长距离信息捕获模块的输出结果；解码器，被配置为对最后一个长距离信息捕获模块的输出结果进行解码，得到所述待处理图像的解码特征，以及基于所述解码特征，得到修复后的图像。
[0013]本申请实施例提供一种电子设备，包括：存储器、处理器及存储在存储器上的计算机程序，该处理器执行该计算机程序以实现上述图像处理方法。
[0014]本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现上述图像处理方法。
[0015]本申请实施例提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现实现上述图像处理方法。
[0016]本申请实施例提供的图像处理方法，将卷积处理与适合提取长距离信息的自注意力操作结合，通过长距离信息捕获模块得到的相应的第一特征、相应的第二特征均可以表达相应的通过卷积捕获的像素信息和相应的长距离信息。相比于利用表示单一类型的信息的特征即待处理图像的适合通过卷积捕获的像素信息的特征得到修复后的图像，参与得到修复后的图像的特征表示的信息的类型更加丰富，从而，提升修复后的图像的修复效果。
附图说明
[0017]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
[0018]图1示出了本申请实施例提供的图像处理方法的流程图；
[0019]图2示出了利用图像修复网络对待处理图像进行修复的流程示意图；
[0020]图3示出了特征图中的窗口的效果示意图；
[0021]图4示出了残差模块的结构示意图；
[0022]图5示出了本申请实施例提供的图像处理装置的结构框图。
具体实施方式
[0023]下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关专利技术相关的部分。
[0024]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0025]图1示出了本申请实施例提供的图像处理方法的流程图，该方法包括：
[0026]步骤101，获取待处理图像。
[0027]在本申请中，待处理图像为需要进行修复的图像。
[0028]在一些实施例中，对待处理图像的修复可以为以下之一：图像超分辨率、图像去噪、图像去雨。
[0029]步骤102，利用图像修复网络对待处理图像进行修复，得到修复后的图像。
[0030]在本申请中，图像修复网络包括：编码器、至少一个长距离信息捕获模块、解码器。
[0031]在本申请中，可以将输入到长距离信息捕获模块中的数据称之为长距离信息捕获模块的输入数据。可以将在长距离信息捕获模块对长距离信息捕获模块的输入数据进行处理之后，长距离信息捕获模块输出的数据称之为长距离信息捕获模块的输出结果。
[0032]在本申请中，编码器被配置为对待处理图像进行卷积处理，得到待处理图像的编码特征。
[0033]编码器可以为用于特征提取的残差模块，用于特征提取的残差模块的结构可以为与已有的具有残差模块的神经网络例如ResNet网络中的残差模块的结构。编码器也可以为已有的卷积神经网络中的完成整个特征提取过程的结构或该结构的一部分。
[0034]在本申请中，当编码器对待处理图像进行卷积处理，得到待处理图像的编码特征时，将待处理图像输入到编码器中，编码器输出待处理图像的编码特征。
[0035]在本申请中，若多个修复类型的修复均通过图像修复网络实现，换言之，图像修复网络可以对待处理图像进行多个修复类型中的一个修复类型的修复，则编码器可以包括多个修复类型中的每一个修复类型对应的通过卷积来提取特征的单元，修复类型对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取待处理图像；利用图像修复网络对所述待处理图像进行修复，得到修复后的图像，所述图像修复网络包括：编码器，被配置为对所述待处理图像进行卷积处理，得到所述待处理图像的编码特征；至少一个长距离信息捕获模块，所述长距离信息捕获模块被配置为：将所述长距离信息捕获模块的输入数据划分为所述长距离信息捕获模块的第一特征图序列和所述长距离信息捕获模块的第二特征图序列，其中，第一个长距离信息捕获模块的输入数据为所述编码特征，除了第一个长距离信息捕获模块之外的其他长距离信息捕获模块的输入数据为所述其他长距离信息捕获模块的上一个长距离信息捕获模块的输出结果；在所述第一特征图序列中的第一特征图中的每一个第一窗口内进行自注意力操作，以得到所述长距离信息捕获模块对应的第一特征；在所述第二特征图序列中的第二特征图中的每一个第二窗口内进行自注意力操作，以得到所述长距离信息捕获模块对应的第二特征；基于所述第一特征和所述第二特征，生成所述长距离信息捕获模块的输出结果；解码器，被配置为对最后一个长距离信息捕获模块的输出结果进行解码，得到所述待处理图像的解码特征，以及基于所述解码特征，得到修复后的图像。2.根据权利要求1所述的方法，其特征在于，基于所述第一特征和所述第二特征，生成所述长距离信息捕获模块的输出结果包括：将所述第一特征和所述第二特征拼接为所述长距离信息捕获模块对应的拼接特征；对所述拼接特征进行卷积处理，得到所述长距离信息捕获模块对应的卷积后的拼接特征；基于所述卷积后的拼接特征，生成所述长距离信息捕获模块的输出结果。3.根据权利要求2所述的方法，其特征在于，基于所述卷积后的拼接特征，生成所述长距离信息捕获模块的输出结果包括：对所述卷积后的拼接特征进行线性和激活处理，得到所述长距离信息捕获模块对应的线性和激活处理后的特征；对所述线性和激活处理后的特征进行抗块效应处理，得到所述所述长距离信息捕获模块对应的抗块效应处理后的特征，其中，所述抗块效应处理包括：利用尺度大于尺寸阈值的卷积核分别对所述线性和激活处理后的特征的每一个特征图进行卷积；基于所述抗块效应处理后的特征，生成所述长距离信息捕获模块的输出结果。4.根据权利要求1所述的方法，其特征在于，第一个长距离信息捕获模块的第一特征图中的每一个第一窗口通过对包围所述第一特征图的框进行划分得到，第一个长距离信息捕获模块的第二特征图中的每一个第二窗口通过对包围所述第二特征图的框进行划分得到，所述每一个第一窗口的尺寸相同，所述第一个第二窗口的尺寸相同；所述其他长距离信息捕获模块的第一特征图中的每一个第一窗口通过将所述其他长距离信息捕获模块的上一个长距离信息捕获模块的...

【专利技术属性】
技术研发人员：李文博，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：