基于残差分离注意力机制的遥感图像超分辨率方法、系统及介质技术方案

本申请涉及一种基于残差分离注意力机制的图像超分辨率方法、系统及介质，包括将高分辨率遥感卫星图像下采样至目标低分辨率遥感卫星图像；提取粗糙特征图；构建上采样模块；构建残差分离注意力模块；构建残差分离注意力组，进一步提取精细特征；将粗糙特征图作为全局残差学习与最后一个残差注意力组的输出进行融合，最后将各个阶段得到的精细遥感卫星特征图输入多级特征融合模块进行融合；将融合得到的最终精细的遥感卫星特征图进行普通卷积，重建成目标的高分辨率遥感卫星图像。本发明专利技术所提出的网络优于其他最新的遥感卫星图像超分辨率算法，能够生成更高质量的卫星图像，尤其是在高采样倍数的情况下。是在高采样倍数的情况下。是在高采样倍数的情况下。

【技术实现步骤摘要】
基于残差分离注意力机制的遥感图像超分辨率方法、系统及介质


[0001]本申请属于计算机视觉遥感图像超分辨率
，具体涉及一种基于残差分离注意力机制的遥感图像超分辨率方法、系统及介质。

技术介绍

[0002]遥感卫星(Remote Sensing Satellites)图像作为对地观测的重要手段，广泛应用于多个领域，包括矿产资源开发、环境监测、公共安全保障以及军事等。其中，空间分辨率被视为衡量卫星图像质量的重要指标。然而，星载成像系统经常受到复杂成像环境的影响，导致获取的图像空间分辨率较低。因此，如何提高遥感卫星图像的空间分辨率，提升图像质量，是遥感图像处理领域中一项重要且具有挑战性的任务。
[0003]鉴于高质量遥感卫星图像在各种应用场景中的独特价值，单幅图像超分辨率(Single
‑
Image Super
‑
Resolution,SISR)方法在遥感卫星图像处理方面近年来引起了广泛的关注。除了借助更先进的硬件设备以提高图像质量外，超分辨率(Super
‑
Resolution,SR)技术也提供了一种方便且有效的策略，用以提升图像的质量。随着卫星摄影测量技术的快速发展，对于开发高效且高精度的遥感卫星图像超分辨率(SR)方法的需求日益增长。为了获得高质量的图像，许多研究者已经采用了基于卷积神经网络的技术，学习低分辨率(Low resolution，LR)和高分辨率(High resolution，HR)图像之间的映射函数，并建立了各种SR模型，有效地提高了图像的分辨率和质量。Liebel等人首次将超分辨率卷积神经网络(Single Image Super
‑
Resolution Using Deep Learning，SRCNN)应用到卫星图像的超分辨率上，其考虑到卫星图像的SR方法无法直接通过自然图像进行训练，因此使用SENTINEL
‑
2图像生成了一个遥感数据集，以重新学习映射关系。Lei等人引入了一个多分支结构框架(Super
‑
resolution for remote sensing images via local
–
global combined network)，以学习网络的多尺度表达能力，该框架将浅层和深层特征映射相结合，完成特征信息之间的交互，以更好地指导网络重建。Qin等人基于GoogLeNet设计了一个多尺度网络(Remote sensing image super
‑
resolution using multi
‑
scale convolutional neural network)，该网络使用多尺度内核提取图像特征，并在连接每个通道特征后获得更全面的深度特征，以改善SR效果。
[0004]虽然基于深度学习的遥感卫星图像超分辨率方法已经取得了一些令人满意的效果，但目前大多数研究在提高遥感图像分辨率方面主要集中在较小的采样倍数，并主要通过在网络中增加一层上采样层来提高分辨率。然而，对于在高采样倍数下的重建问题，相关研究仍然较少。例如，Pan等人利用反向投影策略来更完整地处理LR和HR之间的依赖性(Super
‑
resolution of single remote sensing image based on residual dense back projection networks，RDBPN)。Dong等人提出了一种密集采样框架(Remote sensing image super
‑
resolution using novel dense
‑
sampling networks，DSSR)，该框架通过密集采样机制重用升频器来对低维特征进行上采样，以研究大尺度因子SR重建。尽管现有
RDBPN和DSSR方法尝试通过上采样模块密集地连接特征以解决高采样倍数(例如，
×
8)下的遥感卫星图像SR，但上述方法均使用相同的权重大小学习不同区域的遥感特征图，缺乏跨特征通道的表达能力。此外，由于LR图像有限的先验信息，在高采样倍数的条件下，预测局部特征变得更具挑战性。并且，额外的先验信息意味着更多的计算开销，并增加了训练难度，进一步对后续的重建过程产生不利影响。因此，如何在高采样倍数的条件下，提取可靠且精确的精细特征以及如何增强跨通道特征的表达能力，显得尤为重要。

技术实现思路

[0005]本申请实施例的目的在于提供一种基于残差分离注意力机制的图像超分辨率方法、系统及介质，由此解决现有遥感卫星超分辨率重建算法在高采样倍数条件下网络重建性能以及图像质量上存在一定的局限性的技术问题。
[0006]为实现上述目的，本申请提供如下技术方案：
[0007]第一方面，本申请实施例提供一种基于残差分离注意力机制的图像超分辨率方法，包括：
[0008]S1：将高分辨率遥感卫星图像下采样至目标低分辨率遥感卫星图像；
[0009]S2：将所述目标低分辨率遥感图像进行分块操作，分出相互重叠的图像块后，使用粗糙特征提取模块对低分辨率遥感图像进行深度分离卷积操作，提取粗糙特征图F
C
；
[0010]S3：构建上采样模块，并引入去除伪影的方法，以帮助网络减少过多的遥感卫星图像伪影。
[0011]S4：构建残差分离注意力模块，使网络生成局部注意力，增强遥感卫星图像全局结构信息在通道层面的交互；
[0012]S5：构建残差分离注意力组进一步提取精细特征，将提取的粗糙特征图F
C
输入残差分离注意力组获得精细的遥感特征图，其中，所述的残差分离注意力网络包含若干个残差分离注意力组，每个组包含一个上采样模块和一个残差分离注意力模块，上采样模块考虑层级先验信息，在高分辨率特征空间中辅助网络并预测高频局部细节信息；残差分离注意力模块用于自适应地探索和学习低分辨率特征空间中的全局结构信息；
[0013]S6：将粗糙特征图F
C
作为全局残差学习与最后一个残差注意力组的输出进行融合，最后将各个阶段得到的精细遥感卫星特征图输入多级特征融合模块进行融合；
[0014]S7：将融合得到的最终精细的遥感卫星特征图进行普通卷积，重建成目标的高分辨率遥感卫星图像。
[0015]在一些可选的实施方案中，在步骤S2中，使用一个逆残差模块和一个3*3卷积层构建的粗糙特征提取器，并使用所述粗糙特征提取器提取粗糙特征图F
C
，其中，逆残差块由1*1点卷积层Pwconv、3*3深度可分卷积层Dwconv、批量归一化BN层、激活函数PReLU组成，所述粗糙特征图F_C表示为：F
C
＝H
C
(I
LR
)，其中H
C
(
·
)是粗特征提取操作，I
LR
表示输入的低分辨率遥感卫星图像。...

【技术保护点】

【技术特征摘要】
1.一种基于残差分离注意力机制的图像超分辨率方法，其特征在于，包括：S1：将高分辨率遥感卫星图像下采样至目标低分辨率遥感卫星图像；S2：将所述目标低分辨率遥感卫星图像进行分块操作，分出相互重叠的图像块后，使用粗糙特征提取模块对低分辨率遥感卫星图像进行深度分离卷积操作，提取粗糙特征图F
C
；S3：构建上采样模块，并引入去除伪影的方法，以帮助网络减少过多的遥感卫星图像伪影；S4：构建残差分离注意力模块，使网络生成局部注意力，增强遥感卫星图像全局结构信息在通道层面的交互；S5：构建残差分离注意力组，进一步提取精细特征，将提取的粗糙特征图F
C
输入残差分离注意力组获得精细的遥感特征图，其中，所述的残差分离注意力网络包含若干个残差分离注意力组，每个组包含一个上采样模块和一个残差分离注意力模块，上采样模块考虑层级先验信息，在高分辨率特征空间中辅助网络并预测高频局部细节信息；残差分离注意力模块用于自适应地探索和学习低分辨率特征空间中的全局结构信息；S6：将粗糙特征图F
C
作为全局残差学习与最后一个残差注意力组的输出进行融合，最后将各个阶段得到的精细遥感卫星特征图输入多级特征融合模块进行融合；S7：将融合得到的最终精细的遥感卫星特征图进行普通卷积，重建成目标的高分辨率遥感卫星图像。2.根据权利要求1所述的一种基于残差分离注意力机制的图像超分辨率方法，其特征在于，所述步骤S2中，使用一个逆残差模块和一个3*3卷积层构建的粗糙特征提取器，并使用所述粗糙特征提取器提取粗糙特征图F
C
，其中，逆残差块由1*1点卷积层Pwconv、3*3深度可分卷积层Dwconv、批量归一化BN层、激活函数PReLU组成，所述粗糙特征图F
C
表示为：F
C
＝H
C
(I
LR
)，其中H
C
(
·
)是粗特征提取操作，I
LR
表示输入的低分辨率遥感卫星图像。3.根据权利要求1所述的一种基于残差分离注意力机制的图像超分辨率方法，其特征在于，所述步骤S3包括：将上述操作得到的粗糙特征图F
C
输入8*8反卷积层Deconv和一个逆残差模块以得到低分辨率特征图L1，随后粗糙特征图F
C
与低分辨率特征图L1进行逐元素相减后再次输入8*8反卷积层Deconv，将两次反卷积层得到的高分辨率特征图进行特征融合得到最终的上采样模块输出。4.根据权利要求1所述的一种基于残差分离注意力机制的图像超分辨率方法，其特征在于，所述步骤S4包括：将上述操作得到的高分辨率融合特征图输入3*3深度可分卷积层后分别通过每个通道分割成n个split，并且输出通道的数量被定为c，则每个部分的输出通道的值为然后通过一个逐元素相加器将这n个部分进行融合：F
Splits
＝H
Sum
(Split1,Split2,
…
,Split
n
)，Split
n
代表通过划分操作后的第n个split，H
Sum
表示逐元素求和操作，接着F
Splits
通过一个自适应平均池化层和两个点卷积层后，通过一个softmax函数再次被分割成n个split，每个当前的split分别乘以之前对应的split，最后使用一个逐元素相加器融合相乘后的特征作为残差分离注意力模块的输出，残差分离注意力被表示为：F
RSA
＝H
Sum
(H
Ep
(Split1,Split
′1),
…
,H
Ep
(Split
...

【专利技术属性】
技术研发人员：吴云韬，陈希彤，巩朋成，程旭，李晖，张卓钰，刘冰艺，吴黎兵，
申请(专利权)人：武汉工程大学，
类型：发明
国别省市：