【技术实现步骤摘要】
本专利技术涉及图像处理领域，更具体来说涉及一种遥感图像超分辨率重建方法。
技术介绍
1、高分辨率遥感图像在资源勘探、环境监测、目标检测、目标识别等方面起着重要的作用。然而，由于成像设备的限制和空间中恶劣的成像条件，遥感图像质量经常受到运动模糊、大气等因素的影响从硬件上提高其分辨率耗时较长，成本极高。遥感图像超分辨率重建(remote sensing image super-resolution,rsisr)技术能够在不改变物理成像设备的限制下，通过图像处理软件算法获得在成像系统分辨率极限之上的更高分辨率图像，在遥感应用中受到了广泛的关注。
2、近年来，基于空域的深度卷积神经网络方法在rsisr任务上取得了很大的突破。然而由于遥感图像内部纹理和结构信息的复杂多样性，仅从空域卷积的角度对遥感图像进行特征挖掘，无法充分感知遥感图像内部的全局退化现象，导致网络重建效果不佳，纹理细节不足。随后，大量学者开始引入tansformer自注意机制用于捕捉遥感图像特征的全局自相似性，一定程度上缓解了上述问题，提升了rsisr任务性能。然而这类方法仅专注于图像特征自相似性的捕捉，并未对图像全局退化相关性以及纹理轮廓连贯性等进行建模，导致网络局限于特征自相似性的挖掘，忽略特征全局相关性的挖掘，对超分任务的性能提升有限。
技术实现思路
1、为了克服现有技术的不足，本专利技术提供一种基于多阶段空频联合的遥感图像超分辨率重建方法。为了缓解现有遥感图像超分辨率技术全局特性捕捉不到位，重建精度不足，纹
2、本专利技术解决其技术问题所采用的技术方案是：
3、一种基于多阶段空频联合的遥感图像超分辨率重建方法，步骤如下：
4、步骤1：图像预处理：利用双线性插值将低分辨率遥感图像上采样至所需的超分辨率图像输出尺寸大小，减少信息的过度损失；
5、步骤2：构建多阶段的u型编码-解码网络架构，将预处理后的上采样图像输入该u型编码-解码网络架构进行特征提取，得到最终超分辨率重建结果；
6、所述的u型编码-解码网络架构使用四个编码网络与三个下采样网络提取出四种不同尺度的编码特征图{e1,e2,e3,e4},使用四个解码网络与三个上采样网络，以最小尺度的编码特征e4为输入，逐步解码复原为对应尺度的解码特征图{d1,d2,d3,d4}，此过程中，每一层级的解码特征与对应相同尺度下的编码特征进行直连求和，作为下一层级解码网络的输入；编码网络与解码网络均采用相同的双支路空频信息提取网络设计，将最后一层解码网络输出的d4特征图通过一个3×3卷积层调整输出通道维度与双线性插值上采样图像相加，得到最终超分辨率重建结果；双支路空频信息提取网络包括空域信息提取网络、频域信息提取网络与自适应空频选择注意网络三部分；
7、步骤3：对于双支路空频信息提取网络，给定初始特征输入x，将x送入双支路空频信息提取网络中的空域信息提取网络分支，得到当前特征尺度下对应的空域特征输出s；
8、所述的空域信息提取网络分支由残差单元与空间增强自注意力单元串联组成；残差单元利用3×3卷积操作和跳跃连接，从初始特征输入x中捕捉到特征图局部区域内细微变化的结构纹理作为隐式空间细节特征k；空间增强自注意力单元由空间细节特征k生成粗略空间自注意力图m，通过将空间细节特征k与空间自注意力图m相乘后再相加，得到对不同局部区域中的重要特征，进行选择性增强后的空域特征输出s＝k+k·m；
9、步骤4：对于双支路空频信息提取网络，给定初始特征输入x，将x送入双支路空频信息提取网络中的频域信息提取网络分支，得到当前特征尺度下对应的频域特征输出j；
10、所述的频域信息提取网络分支由通道自注意模块与频域卷积模块串联组成；通道自注意模块对初始特征输入x的通道信息进行聚合，学习各通道间的依赖关系权重图q，根据q对每个通道的特征图进行加权求和，以此来调整各通道的重要性，得到通道聚合后的特征输出x′；随后对特征输出x′进行傅里叶变换计算，得到x′在频域内对应的幅值特征a和相位特征p，利用频域卷积模块分别对代表纹理信息的幅值特征与代表轮廓信息的相位特征进行小核卷积，计算得到新的频域幅值特征a′与相位特征p′，对频域内幅值特征a′及相位特征p′利用傅里叶逆变换转换回空域，得到特征o后，将o通过直连残差结构与特征x′直连相加，进一步聚合信息，输出当前特征尺度下对应的频域特征输出j；
11、步骤5：对于第i层双支路空频信息提取网络，给定步骤3中空域特征输出s与步骤4中频域特征输出j，将s与j送入双支路空频信息提取网络中的自适应空频选择注意网络分支，自适应生成每个空间像素位置所需保留的空域特征注意权重与频域特征注意权重，将生成的空频两支路注意权重与对应的空频特征进行加权求和后得到当前特征尺度下的空频融合特征输出r；
12、所述的自适应空频选择注意网络分支若处于编码阶段，则将特征输出r送入下采样网络中，作为下一层特征尺度的双支路空频信息提取网络输入，若该层双支路空频信息提取网络处于解码阶段，则将特征r送入上采样网络后与对应尺度的编码特征相加，作为下一层特征尺度的双支路空频信息提取网络输入；
13、步骤6：构建获取高分辨率遥感图像数据集，将高分辨率遥感图像数据集划分为训练、验证和测试三部分，通过双立方插值得到对应的高分辨率图像和低分辨率图像的图像对ihr/ilr；构建超分辨率图像重建损失函数l，计算公式为：其中，n表示样本数量，表示第j个样本的真实高分辨率图像标签，是将第j个样本的低分辨率图像输入到步骤2中所提u型编码-解码网络输出的超分图像；
14、每轮训练结束后均利用验证数据集进行重建损失函数计算，函数值越小表示所训练网络模型在验证数据集上的超分重建性能越好，据此筛选出600轮训练中重建损失函数值最小所对应的模型权重进行保存，完成模型训练；在测试过程中，加载所选模型权重，输入低分辨率图像到步骤2中所提u型编码-解码网络中，得到对应的超分辨率图像输出，完成遥感图像的超分辨率重建任务。
15、所述步骤4中，对于双支路空频信息提取网络中频域信息提取网络，给定原始输入特征向量首先选用通道注意机制对输入特征的通道信息进行聚合，利用3×3卷积层对特征进行映射得到新的特征向量并利用全局平均池化操作对每个特征通道的全局空间信息进行压缩，随后利用两个1×1卷积层学习各个通道间的依赖关系，通过sigmoid层输出各个通道维度的重要性权重与特征向量相乘y得到自适应通道加权后的特征本文档来自技高网...
【技术保护点】
1.一种基于多阶段空频联合的遥感图像超分辨率重建方法，其特征在于包括下述步骤：
2.根据权利要求1所述的基于多阶段空频联合的遥感图像超分辨率重建方法，其特征在于：
3.根据权利要求1所述的基于多阶段空频联合的遥感图像超分辨率重建方法，其特征在于：
4.根据权利要求1所述的基于多阶段空频联合的遥感图像超分辨率重建方法，其特征在于：
5.根据权利要求1所述的基于多阶段空频联合的遥感图像超分辨率重建方法，其特征在于：
6.根据权利要求1所述的基于多阶段空频联合的遥感图像超分辨率重建方法，其特征在于：
【技术特征摘要】
1.一种基于多阶段空频联合的遥感图像超分辨率重建方法，其特征在于包括下述步骤：
2.根据权利要求1所述的基于多阶段空频联合的遥感图像超分辨率重建方法，其特征在于：
3.根据权利要求1所述的基于多阶段空频联合的遥感图像超分辨率重建方法，其特征在于：
<...【专利技术属性】
技术研发人员：王秉路，闵令通，王佳蕊，王小旭，赵永强，李宁，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。