一种适用于退化方式不定的遥感图像超分重建方法技术

本发明专利技术公开了一种适用于退化方式不定的遥感图像超分重建方法，属于数字图像处理技术领域，用于遥感图像超分重建，具体包括：将遥感图像进行预处理和数据扩增；将对比学习和注意力机制融合表示遥感图像退化不定的特征，构建处理多样化退化方式的遥感图像超分辨率重建模型。采用双三次下采样将高分辨率遥感图像转换为低分辨率遥感图像，使用MoCo对比学习框架和对比损失进行无监督图像退化表示学习，提取退化特征，采用多层光谱空间注意力模块加强光谱信息和空间信息之间的联系，有效提取空谱联合特征，将退化特征和空谱联合特征融合，通过上采样重建高分辨率遥感图像。本发明专利技术能够对退化方式多样化的实际遥感图像，有效超分辨率重建。建。建。

【技术实现步骤摘要】
一种适用于退化方式不定的遥感图像超分重建方法


[0001]本专利技术公开了一种适用于退化方式不定的遥感图像超分重建方法，属于数字图像处理


技术介绍

[0002]图像超分辨率重建技术是将低分辨率图像重建为高分辨率图像的一项技术。随着数字图像处理和传输技术的飞速发展，遥感图像已经广泛应用于军事和民用领域，在农林检测、军事侦察、城市规划等方向起着重要作用。高分辨率遥感图像可以更好地来获取特定地区的地理信息。然而，由于高分辨率传感器的研发难度大、费用昂贵等问题，使得高分辨率遥感图像的仅被用于某些特定领域。能够公开的大都是空间分辨率较低的遥感影像，难以满足科研工作者利用遥感图像进行小目标精准监测的应用需求，遥感图像超分辨率重建技术的出现为这种需求提供了一种新的途径。
[0003]传统重建算法模型的表达能力弱，无法有效地提取遥感图像中的特征信息，重建后的图像质量不足以为高分辨率，且纹理细节恢复较差。近年来，深度学习在计算机视觉领域的应用已经越来越广泛。基于卷积神经网络的超分辨率重建（Super Resolution Convolutional Neural Network，SRCNN）算法首先将卷积神经网络引入图像超分辨率重建领域，仅使用三层网络，就取得了优越的重建结果。随后，各种基于深度学习的模型，被用于图像超分辨率重建领域，主要分为以下两个方向：一种是追求细节的恢复，以峰值信噪比和结构衡量指标等为评价标准的算法，其中以SRCNN模型为代表；另外一种是以降低感知损失为目标，不注重细节，看重大局观，以基于生成对抗网络的超分辨率重建模型（Super Resolution Generative Adversarial Network，SRGAN）为代表的一系列算法。但是，遥感图像因在实际应用中受诸多因素的影响，图像的退化方式多样化，导致目前基于深度学习的遥感图像超分辨率重建方法仅针对所训练的单一图像退化方式有效，在实际应用中的效果和泛化能力仍然有很大的提升空间。

技术实现思路

[0004]本专利技术公开了一种适用于退化方式不定的遥感图像超分重建方法，以解决现有技术中，基于深度学习的遥感图像超分辨率重建方法在实际应用中的效果和泛化能力差的问题。
[0005]适用于退化方式不定的遥感图像超分重建方法，包括：S1.将遥感图像进行预处理和数据扩增，将数据集每张图像分割以得到小尺寸的遥感图像；S2.将对比学习与注意力机制融合，构建能够处理退化方式多样化的遥感图像超分辨率重建网络模型；S3.采用双三次下采样将高分辨率遥感图像转换为低分辨率遥感图像；S4.采用对比学习进行无监督图像退化表示学习，提取退化特征；
S5.采用光谱空间注意力模块加强光谱信息和空间信息之间的联系，有效提取空谱联合特征；S6.将退化特征和空谱联合特征融合，通过上采样层重建高分辨率遥感图像；所述遥感图像超分辨率重建网络模型包括下采样模块、图像退化模块、光谱空间注意力模块和上采样重建模块；所述图像退化模块以MoCo对比学习框架为基础，学习各种退化方式的潜在差异特征，解决单一退化方式条件下的超分重建问题；所述光谱空间注意力模块共有三层，每层均为残差结构，但权重不同，每层光谱空间注意力模块包含两层光谱空间注意力卷积模块和两个卷积，光谱空间注意力模块学习预测卷积核和基于退化表示的调制系数，利用退化信息来适应特定的退化。
[0006]优选地，所述图像退化模块包含六层卷积网络和两层多层感知机，查询像素块得出的退化表示特征与正样本的退化表示特征相似，与负样本的退化表示特征不同。
[0007]优选地，所述光谱空间注意力卷积模块包含并联的光谱注意力模块和空间注意力模块。
[0008]优选地，光谱空间注意力卷积模块的特征提取包括：B1.将低分辨率遥感图像经过卷积提取初步特征，将退化表示特征经过两层全连接层后再进行变形处理，作为光谱空间注意力模块的输入；B2.将初步特征和退化表示特征矩阵相乘，得出输入特征，再通过并联的光谱注意力模块和空间注意力模块得到加强后的光谱特征和空间特征；B3.将光谱特征和空间特征融合得到光谱空间注意力特征；B4.将光谱空间注意力特征与初步特征进行融合。
[0009]优选地，光谱空间注意力模块的输入特征为为：为：为图像特征，为退化表示特征，为卷积核大小为，步长为2的卷积操作。
[0010]优选地，光谱注意力模块中输入特征中不同光谱的特征矩阵为：优选地，光谱注意力模块中输入特征中不同光谱的特征矩阵为：为卷积核为的卷积操作，sigmoid为激活函数，avg为全局平均池化。
[0011]优选地，空间注意力模块中输入特征不同空间的特征矩阵为：。
[0012]优选地，光谱空间注意力卷积模块中输入特征不同空间与不同光谱信息融合特征矩阵为：
SSA为光谱空间注意力模块注意力卷积操作。
[0013]优选地，光谱空间注意力模块的光谱空间特征矩阵为：矩阵为：为光谱空间注意力卷积模块输出的特征矩阵。
[0014]优选地，光谱空间注意力模块采用均方根误差损失函数来计算损失，优化训练过程，损失如下：程，损失如下：为输入的低分辨率图像，为光谱空间注意力网络。
[0015]与现有技术相比，本专利技术的有益效果在于，引入对比学习，通过对比图像数据的正负样本对，使用对比损失进行无监督图像退化表示学习，更适合于具有遥感图像未知退化的实际应用。融合的光谱空间注意力模块，加强了光谱信息和空间信息之间的联系。将输入的遥感图像进行下采样，通过图像退化模块提取退化信息，将退化信息和图像特征信息进行融合，然后通过光谱空间注意力模块，加权了遥感图像的特征信息，从而提升重建效果。
附图说明
[0016]图1是本专利技术的技术流程图；图2是本专利技术中对比学习和注意力结合的网络结构图；图3是本专利技术中的图像退化模块结构图。
具体实施方式
[0017]下面结合具体实施方式对本专利技术作进一步详细说明：适用于退化方式不定的遥感图像超分重建方法，如图1所示，包括：S1.将遥感图像数据集按比例分为训练集和测试集，所述的遥感图像数据集来自Potsdam数据集和Vaihingen数据集，将遥感图像进行预处理和数据扩增，将数据集每张图像分割以得到小尺寸的遥感图像；S2.将对比学习与注意力机制融合，构建能够处理退化方式多样化的遥感图像超分辨率重建网络模型如图2；S3.采用双三次下采样将高分辨率遥感图像转换为低分辨率遥感图像；S4.采用对比学习进行无监督图像退化表示学习，提取退化特征；S5.采用光谱空间注意力模块加强光谱信息和空间信息之间的联系，有效提取空谱联合特征；S6.将退化特征和空谱联合特征融合，通过上采样层重建高分辨率遥感图像；所述遥感图像超分辨率重建网络模型包括下采样模块、图像退化模块、光谱空间注意力模块和上采样重建模块；所述图像退化模块以MoCo对比学习框架为基础，学习各种
退化方式的潜在差异特征，解决单一退化方式条件下的超分重建问题；所述光谱空间注意力模块共有三层，每层均为残差结构，但权重不同，每层光谱空间注意力本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种适用于退化方式不定的遥感图像超分重建方法，其特征在于，包括：S1.将遥感图像进行预处理和数据扩增，将数据集每张图像分割以得到小尺寸的遥感图像；S2.将对比学习与注意力机制融合，构建能够处理退化方式多样化的遥感图像超分辨率重建网络模型；S3.采用双三次下采样将高分辨率遥感图像转换为低分辨率遥感图像；S4.采用对比学习进行无监督图像退化表示学习，提取退化特征；S5.采用光谱空间注意力模块加强光谱信息和空间信息之间的联系，有效提取空谱联合特征；S6.将退化特征和空谱联合特征融合，通过上采样层重建高分辨率遥感图像；所述遥感图像超分辨率重建网络模型包括下采样模块、图像退化模块、光谱空间注意力模块和上采样重建模块；所述图像退化模块以MoCo对比学习框架为基础，学习各种退化方式的潜在差异特征，解决单一退化方式条件下的超分重建问题；所述光谱空间注意力模块共有三层，每层均为残差结构，但权重不同，每层光谱空间注意力模块包含两层光谱空间注意力卷积模块和两个卷积，光谱空间注意力模块学习预测卷积核和基于退化表示的调制系数，利用退化信息来适应特定的退化。2.根据权利要求1所述的适用于退化方式不定的遥感图像超分重建方法，其特征在于，所述图像退化模块包含六层卷积网络和两层多层感知机，查询像素块得出的退化表示特征与正样本的退化表示特征相似，与负样本的退化表示特征不同。3.根据权利要求2所述的适用于退化方式不定的遥感图像超分重建方法，其特征在于，所述光谱空间注意力卷积模块包含并联的光谱注意力模块和空间注意力模块。4.根据权利要求3所述的适用于退化方式不定的遥感图像超分重建方法，其特征在于，光谱空间注意力卷积模块的特征提取包括：B1.将低分辨率遥感图像经过卷积提取初步特征，将退化表示特征经过...

【专利技术属性】
技术研发人员：王武礼，李冲，姜雨蒙，王歌，冷林椿，马晓虎，
申请(专利权)人：中国石油大学华东，
类型：发明
国别省市：