图像处理方法、装置、设备及存储介质制造方法及图纸

本申请关于一种图像处理方法、装置、设备及存储介质，涉及图像处理技术领域。该方法包括：获取待处理图像，并根据待处理图像以及预设的超分辨率重建模型，得到目标图像。其中，超分辨率重建模型具备根据输入图像的尺寸确定对应尺寸的目标卷积核，并基于输入图像对应的目标卷积核对输入图像进行特征提取，以及对特征提取后得到的第一图像特征进行非线性映射，得到第二图像特征，并多尺度的对第二图像特征进行特征融合，以得到重建图像的功能，待处理图像的分辨率小于预设阈值，目标图像的分辨率大于或者等于预设阈值。本申请用于改善重建高分辨率图像的效果。分辨率图像的效果。分辨率图像的效果。

【技术实现步骤摘要】
图像处理方法、装置、设备及存储介质


[0001]本申请涉及图像处理
，尤其涉及一种图像处理方法、装置、设备及存储介质。

技术介绍

[0002]目前，高分辨率图像在遥感领域、医学领域、刑侦领域等都有重要作用，通过超分辨率图像重建是获取高分辨率图像的一种方法。具体的，将低分辨率图像输入到网络模型中，并通过上采样层对网络模型的输出进行上采样，得到高分辨率图像。其中，在网络模型为超分辨率深层卷积网络(super resolution dense convolutional network，SRDenseNe t)或者快速超分辨率卷积神经网络(fast super resolution convolutional neural network，FSRCNN)的情况下，上采样层基于转置卷积构成，在网络模型为像素注意力网络(pixel attention network)的情况下，上采样层基于最近邻插值算法构成。
[0003]但是，上述方法中网络模型的卷积核大小固定，无法充分提取输入图像的特征；同时，转置卷积和最近邻插值算法无法充分利用从网络模型中提取到的特征，导致得到的高分辨率图像模糊。因此，如何进行图像超分辨率重建是一个亟需解决的技术问题。

技术实现思路

[0004]本申请提供一种图像处理方法、装置、设备及存储介质，以至少解决现有技术中无法充分提取输入图像的特征，以及无法充分利用从网络模型中提取到的特征的问题。本申请的技术方案如下：
[0005]第一方面，提供一种图像处理方法，该方法包括：获取待处理图像；待处理图像的分辨率小于预设阈值；根据待处理图像以及预设的超分辨率重建模型，得到目标图像；超分辨率重建模型具备根据输入图像的尺寸确定对应尺寸的目标卷积核，并基于输入图像对应的目标卷积核对输入图像进行特征提取，以及对特征提取后得到的第一图像特征进行非线性映射，得到第二图像特征，并多尺度的对第二图像特征进行特征融合，以得到重建图像的功能，目标图像的分辨率大于或者等于预设阈值。
[0006]在一种可能的实施方式中，上述超分辨率重建模型包括特征提取模块、非线性映射模块以及特征融合模块；特征提取模块包括卷积核尺寸为第一预设尺寸的第一卷积层以及自适应选择卷积网络(selective kernel network，SKNet)模块；第一卷积层用于对输入图像进行特征提取，得到第三图像特征，SKNet模块用于根据第三图像特征的尺寸确定对应尺寸的目标卷积核，并基于第三图像特征对应的目标卷积核对第三图像特征进行特征提取，得到第一图像特征；非线性映射模块用于对第一图像特征进行非线性映射，得到第二图像特征；特征融合模块包括像素注意力模块和重建模块；像素注意力模块用于对第二图像特征进行特征融合，得到第四图像特征，重建模块用于多尺度的对第四图像特征进行特征融合，得到重建图像。
[0007]在一种可能的实施方式中，上述重建模块包括全局平均池化层、卷积核尺寸为第
二预设尺寸的第二卷积层、空洞率为第一空洞率的第三卷积层、空洞率为第二空洞率的第四卷积层、空洞率为第三空洞率的第五卷积层、空洞率为第四空洞率的第六卷积层。
[0008]在一种可能的实施方式中，上述根据待处理图像以及预设的超分辨率重建模型，得到目标图像，包括：将待处理图像输入超分辨率重建模型，得到第一图像；根据待处理图像以及双线性插值算法，得到第二图像；将第一图像以及第二图像进行融合，得到目标图像。
[0009]第二方面，提供一种图像处理装置，该装置包括获取单元和处理单元；获取单元，用于获取待处理图像；待处理图像的分辨率小于预设阈值；处理单元，用于根据待处理图像以及预设的超分辨率重建模型，得到目标图像；超分辨率重建模型具备根据输入图像的尺寸确定对应尺寸的目标卷积核，并基于输入图像对应的目标卷积核对输入图像进行特征提取，以及对特征提取后得到的第一图像特征进行非线性映射，得到第二图像特征，并多尺度的对第二图像特征进行特征融合，以得到重建图像的功能，目标图像的分辨率大于或者等于预设阈值。
[0010]在一种可能的实施方式中，上述超分辨率重建模型包括特征提取模块、非线性映射模块以及特征融合模块；特征提取模块包括卷积核尺寸为第一预设尺寸的第一卷积层以及SKNet模块；第一卷积层用于对输入图像进行特征提取，得到第三图像特征，SKNet模块用于根据第三图像特征的尺寸确定对应尺寸的目标卷积核，并基于第三图像特征对应的目标卷积核对第三图像特征进行特征提取，得到第一图像特征；非线性映射模块用于对第一图像特征进行非线性映射，得到第二图像特征；特征融合模块包括像素注意力模块和重建模块；像素注意力模块用于对第二图像特征进行特征融合，得到第四图像特征，重建模块用于多尺度的对第四图像特征进行特征融合，得到重建图像。
[0011]在一种可能的实施方式中，上述重建模块包括全局平均池化层、卷积核尺寸为第二预设尺寸的第二卷积层、空洞率为第一空洞率的第三卷积层、空洞率为第二空洞率的第四卷积层、空洞率为第三空洞率的第五卷积层、空洞率为第四空洞率的第六卷积层。
[0012]在一种可能的实施方式中，上述处理单元，具体用于：将待处理图像输入超分辨率重建模型，得到第一图像；根据待处理图像以及双线性插值算法，得到第二图像；将第一图像以及第二图像进行融合，得到目标图像。
[0013]第三方面，提供一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行指令，以实现上述第一方面及其任一种可能的实施方式的方法。
[0014]第四方面，提供一种计算机可读存储介质，当计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述第一方面中及其任一种可能的实施方式的方法。
[0015]第五方面，提供一种计算机程序产品，计算机程序产品包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行上述第一方面及其任一种可能的实施方式的方法。
[0016]本申请提供的第一方面的技术方案至少带来以下有益效果：现有技术中由于网络模型的卷积核尺寸固定，导致不能充分提取低分辨率图像的特征。同时，上采样层无法充分利用提取到的特征，导致得到的高分辨率图像模糊。本申请将待处理图像输入预设的超分
辨率重建模型，得到目标图像。其中，超分辨率重建模型具备根据输入图像的尺寸确定对应尺寸的目标卷积核，并基于输入图像对应的目标卷积核对输入图像进行特征提取，以及对特征提取后得到的第一图像特征进行非线性映射，得到第二图像特征，并多尺度的对第二图像特征进行特征融合，以得到重建图像的功能。这样，可以根据低分辨率图像的尺寸自适应的确定目标卷积核，从而能够充分提取低分辨率图像的特征。同时，多尺度的特征融合可以充分利用提取到的特征进行图像重建，能够增强超分辨率重建模型复原细节特征的能力，从而使得到的高分辨率图像更清晰，改善了重建高分辨率图像的效果。
[0017]需要说明的是，第二方面至第五方面中的任一种实现方式所带来的技术效果可参见第一方面中对应实现方式本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取待处理图像；所述待处理图像的分辨率小于预设阈值；根据所述待处理图像以及预设的超分辨率重建模型，得到目标图像；所述超分辨率重建模型具备根据输入图像的尺寸确定对应尺寸的目标卷积核，并基于所述输入图像对应的目标卷积核对所述输入图像进行特征提取，以及对特征提取后得到的第一图像特征进行非线性映射，得到第二图像特征，并多尺度的对所述第二图像特征进行特征融合，以得到重建图像的功能，所述目标图像的分辨率大于或者等于所述预设阈值。2.根据权利要求1所述的图像处理方法，其特征在于，所述超分辨率重建模型包括特征提取模块、非线性映射模块以及特征融合模块；所述特征提取模块包括卷积核尺寸为第一预设尺寸的第一卷积层以及自适应选择卷积网络SKNet模块；所述第一卷积层用于对所述输入图像进行特征提取，得到第三图像特征，所述SKNet模块用于根据所述第三图像特征的尺寸确定对应尺寸的目标卷积核，并基于所述第三图像特征对应的目标卷积核对所述第三图像特征进行特征提取，得到所述第一图像特征；所述非线性映射模块用于对所述第一图像特征进行非线性映射，得到所述第二图像特征；所述特征融合模块包括像素注意力模块和重建模块；所述像素注意力模块用于对所述第二图像特征进行特征融合，得到第四图像特征，所述重建模块用于多尺度的对所述第四图像特征进行特征融合，得到所述重建图像。3.根据权利要求2所述的图像处理方法，其特征在于，所述重建模块包括全局平均池化层、卷积核尺寸为第二预设尺寸的第二卷积层、空洞率为第一空洞率的第三卷积层、空洞率为第二空洞率的第四卷积层、空洞率为第三空洞率的第五卷积层、空洞率为第四空洞率的第六卷积层。4.根据权利要求1
‑
3中任一项所述的图像处理方法，其特征在于，所述根据所述待处理图像以及预设的超分辨率重建模型，得到目标图像，包括：将所述待处理图像输入所述超分辨率重建模型，得到第一图像；根据所述待处理图像以及双线性插值算法，得到第二图像；将所述第一图像以及所述第二图像进行融合，得到所述目标图像。5.一种图像处理装置，其特征在于，包括获取单元和处理单元；所述获取单元，用于获取待处理图像；所述待处理图像的分辨率小于预设阈值；所述处理单元，用于根据所述待处理图像以及预设的...

【专利技术属性】
技术研发人员：王立，李文娇，曹景镇，张睿琦，江佳蔚，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：