基于自注意力融合的遥感图像超分辨率重建方法技术

本发明专利技术公开了基于自注意力融合的遥感图像超分辨率重建方法，包括：获取低分辨率遥感图像，进行数据预处理；将数据预处理后的低分辨率图像输入提前训练后的基于自注意力融合的遥感图像超分辨率重建模型；所述重建模型包括一个特征提取模块、一个特征非线性映射模块、一个重建模块和两个注意力模块；输出重建后的高分辨率图像。低分辨率图像通过该方法，使得经过注意力模块的特征进行了加权，建立了特征之间的长距离的约束关系，解决了卷积操作感受野的限制，同时经过了通道注意力的多层特征图具有每一层的权重关系，加强对于超分辨率重建有用的这层特征图，弱化对于超分辨率重建任务无用的特征图，提升了重建的效果。提升了重建的效果。提升了重建的效果。

【技术实现步骤摘要】
基于自注意力融合的遥感图像超分辨率重建方法


[0001]本专利技术属于数字图像处理领域，涉及一种提升遥感图像超分辨重建效果方法，特别涉及基于自注意力融合的遥感图像超分辨率重建方法。

技术介绍

[0002]遥感图像超分辨率重建技术是将低分辨率遥感图像重建为高分辨率遥感图像的一项技术。遥感图像超分辨率重建可以提升遥感图像的视觉效果，重建后的高分辨率图像可以提升后续信息处理任务的效果。传统的超分辨率重建方法重建结果较为粗糙，纹理细节的恢复较差，重建的图像质量较差。
[0003]近些年，随着深度学习的发展，深度学习方法因为其强大的拟合性能以及更具细节的重建结果逐渐成为了研究的热点，特别是基于卷积神经网络(CNN)的超分辨重建网络可以恢复图像质量更高的图像质量。基于卷积神经网络的超分辨重建网络的通用结构如图1所示，输入的低分辨率图像经过预处理操作在经过卷积神经网络进行特征提取以及低分辨率特征到高分辨率特征的映射，最终经过重建层重建为高分辨率图像。
[0004]基于卷积神经网络的网络在特征提取部分和特征非线性部分都采取了大量的卷积操作，特征提取都卷积来建立不同图像区域间的依赖关系模型，卷积操作本身存在感受野的限制，这种限制也妨碍了网络去学习到在图像区域之间的长距离的约束关系，致使超分辨率重建结果的精度有限，指标可能会受到这种影响而降低，每一层的特征会对特征非线性映射具有不同的贡献，基于深度学习的通用超分辨率网络，将每一层特征看作等价处理，这会造成重建结果变差，重建指标下降。
[0005]因此，卷积操作感受野的限制以及等价处理每层特征的关键问题还有待解决。

技术实现思路

[0006]鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的基于自注意力融合的遥感图像超分辨率重建方法。
[0007]为实现上述目的，本专利技术采取的技术方案为：
[0008]本专利技术实施例提供基于自注意力融合的遥感图像超分辨率重建方法，包括：
[0009]S1：获取低分辨率遥感图像，进行数据预处理；
[0010]S2：将步骤S1数据预处理后的低分辨率图像输入提前训练后的基于自注意力融合的遥感图像超分辨率重建模型；所述重建模型包括一个特征提取模块、一个特征非线性映射模块、一个重建模块和两个注意力模块；
[0011]S3：输出重建后的高分辨率图像。
[0012]进一步地，所述两个注意力模块结构相同；所述两个注意力模块分别位于所述特征提取模块前和所述重建模块前；
[0013]所述注意力模块包括空间注意力模块与通道注意力模块；所述空间注意力模块与通道注意力模块相融合，且所述空间注意力模块与所述通道注意力模块均通过自注意力结
构实现。
[0014]进一步地，所述空间注意力模块，包括：
[0015]定义所述预处理模块输出或特征非线性映射模块输出特征图N＝W
×
H，W，H分别为图像的宽和高；C为特征图的通道数；N为一个通道上像素点的数量；
[0016]通过两个1
×
1的卷积核转换到两个特征空间f、g去计算空间注意力，其中f(x)＝W
f
x，g(x)＝W
g
x；
[0017][0018]β
j，i
即为注意力表现为生成第j个像素时，模型对第i个像素的关注程度；
[0019]注意力层的输出为其中，
[0020][0021]在上述(1)、(2)公式中为可学习的权重矩阵，通过1
×
1的卷积实现。
[0022]进一步地，所述通道注意力模块，包括：
[0023]定义所述预处理模块输出或特征非线性映射模块输出特征图N＝W
×
H，W，H分别为图像的宽和高；C为特征图的通道数；N为一个通道上像素点的数量；
[0024]通过两个1
×
1的卷积核转换到两个特征空间k、l去计算通道注意力，其中k(x)＝W
k
x，l(x)＝W
l
x；
[0025][0026]α
j，i
即为注意力表现为生成第j个通道时，模型对第i个通道的关注程度；
[0027]注意力层的输出为其中，
[0028][0029]在上述(3)、(4)公式中为可学习的权重矩阵，通过1
×
1的卷积实现。
[0030]进一步地，所述空间注意力模块与通道注意力模块相融合，包括：
[0031]设置学习参数γ，μ，初始设为0；
[0032]最终的注意力模块的输出为y＝γs+μd+x；
[0033]s与d分别为空间注意力模块与通道注意力模块的输出。
[0034]与现有技术相比，本专利技术具有如下有益效果：
[0035]本专利所提出的基于自注意力融合的超分辨率重建的方法，通过在特征提取模块前和重建模块前加入注意力融合的注意力模块，从而使得经过注意力模块的特征进行了加权，建立了特征之间的长距离的约束关系，从而解决了卷积操作感受野的限制，同时经过了通道注意力的多层特征图具有每一层的权重关系，加强对于超分辨率重建有用的这层特征图，弱化对于超分辨率重建任务无用的特征图，从而提升重建的效果。
[0036]本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
[0037]下面通过附图和实施例，对本专利技术的技术方案做进一步的详细描述。
附图说明
[0038]附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中：
[0039]图1为相关技术中基于深度学习的通用超分辨率重建网络结构图；
[0040]图2为本专利技术实施例提供的基于自注意力融合的遥感图像超分辨率重建方法流程图；
[0041]图3为本专利技术实施例提供的注意力融合的超分辨率重建网络结构图；
[0042]图4为本专利技术实施例提供的自注意力结构的空间注意力结构图；
[0043]图5为本专利技术实施例提供的自注意力结构的通道注意力结构图；
[0044]图6为本专利技术实施例提供的注意力融合结构图；
[0045]图7为本专利技术实施例提供的农田实验效果对比和活动房屋停车场实验效果对比图；
[0046]图8为本专利技术实施例提供的机场跑道实验效果对比和港湾实验效果对比图；
[0047]图9为本专利技术实施例提供的飞机实验效果对比和中型住宅实验效果对比图。
具体实施方式
[0048]下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于自注意力融合的遥感图像超分辨率重建方法，其特征在于，包括以下步骤：S1：获取低分辨率遥感图像，进行数据预处理；S2：将步骤S1数据预处理后的低分辨率图像输入提前训练后的基于自注意力融合的遥感图像超分辨率重建模型；所述重建模型包括一个特征提取模块、一个特征非线性映射模块、一个重建模块和两个注意力模块；S3：输出重建后的高分辨率图像。2.如权利要求1所述的基于自注意力融合的遥感图像超分辨率重建方法，其特征在于，所述两个注意力模块结构相同；所述两个注意力模块分别位于所述特征提取模块前和所述重建模块前；所述注意力模块包括空间注意力模块与通道注意力模块；所述空间注意力模块与通道注意力模块相融合，且所述空间注意力模块与所述通道注意力模块均通过自注意力结构实现。3.根据权利要求2所述的基于自注意力融合的遥感图像超分辨率重建方法，其特征在于，所述空间注意力模块，包括：定义所述预处理模块输出或特征非线性映射模块输出特征图N＝W
×
H，W，H分别为图像的宽和高；C为特征图的通道数；N为一个通道上像素点的数量；通过两个1
×
1的卷积核转换到两个特征空间f、g去计算空间注意力，其中f(x)＝W
f
x，g(x)＝W
g
x；β
j，i<...

【专利技术属性】
技术研发人员：张浩鹏，梅寒，姜志国，谢凤英，赵丹培，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：