一种弱监督红外遥感图像超分辨率重建方法技术

本发明专利技术公开了一种弱监督红外遥感图像超分辨率重建方法，包括对高分辨率图像进行双三次降采样得到低分辨率图像，并将低分辨率图像输入至超分网络中，得到重建高分辨率图像，对高分辨率图像和重建高分辨率图像进行逐像素约束，计算内容损失；将真实低分辨率图像依次输入至超分网络和降质网络中，得到输出图像，对真实低分辨率图像和输出图像进行一致性约束，计算循环损失；基于内容损失和循环损失计算总损失，并利用总损失优化超分网络和降质网络的参数，直至超分网络和降质网络收敛；将待超分的图像输入至训练好的超分网络中，获得超分辨率重建结果。本发明专利技术能够利用更多的实际低分辨率遥感图像的信息，重建实际低分辨率遥感图像的效果更好。

【技术实现步骤摘要】
一种弱监督红外遥感图像超分辨率重建方法
本专利技术涉及数字图像处理
，更具体的说是涉及深度学习和图像块特征提取与重建技术。
技术介绍
红外遥感图像超分辨率技术可以有效地提升红外遥感图像的分辨率，恢复红外遥感图像细节，提升红外遥感图像的视觉效果，可以有效地提升红外遥感图像高级任务的处理效果。近年来，随着深度学习的不断发展，基于深度神经网络的超分辨率重建算法逐渐成为研究热点。目前大部分基于深度神经网络算法都采用监督训练的方式，使用匹配的低分辨率-高分辨率图像对进行训练，而真实的高低分辨率图像对并不存在，通常通过对高分辨率图像采用人工降采样的方式获取对应的低分辨率图像。虽然通过网络结构的优化，这样的超分辨率重建算法在超分人工降采样的图像时取得了越来越优越的性能，但是没有考虑实际低分辨率红外遥感图像的信息，导致训练好的网络在重建实际低分辨率红外遥感图像时重建效果较差。因此，如何提供一种弱监督红外遥感图像超分辨率重建方法是本领域技术人员亟需解决的问题。
技术实现思路
有鉴于此，本专利技术提供了一种弱监督红外遥感图像超分辨率重建方法，能够直接使用低分辨率图像进行训练，能够利用更多的实际低分辨率遥感图像的信息，重建实际低分辨率遥感图像的效果更好。为了实现上述目的，本专利技术采用如下技术方案：一种弱监督红外遥感图像超分辨率重建方法，包括：步骤1：对高分辨率图像HR进行双三次降采样得到低分辨率图像LRBI，并将所述低分辨率图像LRBI输入至超分网络中，得到重建高分辨率图像SR；对所述高分辨率图像HR和所述重建高分辨率图像SR进行逐像素约束，计算内容损失；步骤2：将真实低分辨率图像LR依次输入至超分网络和降质网络中，得到输出图像LR'；对所述真实低分辨率图像LR和所述输出图像LR'进行一致性约束，计算循环损失；步骤3：基于所述内容损失和所述循环损失计算总损失，并根据所述总损失优化所述超分网络和所述降质网络的参数；步骤4：循环步骤1～步骤3，直至所述超分网络和所述降质网络收敛；步骤5：将待超分的图像输入至训练好的超分网络中，获得超分辨率重建结果。进一步，所述内容损失的具体计算公式为：式中，Lcon表示内容损失，S为超分网络，LRBI为双三次降采样合成的低分辨率图像，HR为高分辨率图像，N代表一次迭代中的图像数目，i表示图像编号。进一步，所述循环损失的具体计算公式为：式中，Lcyc表示内容损失，S为超分网络，D为降质网络，LR为真实低分辨率图像，N代表一次迭代中的图像数目，i表示图像编号。进一步，所述总损失的具体计算公式为：Ltotal＝ω1Lcyc+ω2Lcon(3)式中，Ltotal表示总损失，ω1和ω2分别为循环损失与内容损失的权重。进一步，所述超分网络对输入的所述低分辨图像LRBI和所述真实低分辨图像LR均包括以下具体处理过程：通过一个卷积层进行浅层特征分析，经过五个残差块和一个卷积层进行深层特征提取，将所述浅层特征和所述深层特征进行元素级加和，并通过一个上采样层的采样和一个卷积层的卷积操作输出所需图像。进一步，每个所述残差块的具体处理过程为：依次通过一个卷积层、一个ReLU激活函数和一个卷积层的处理后提取特征图，通道注意力模块对每个通道的所述特征图取均值得到多通道均值，所述多通道均值依次通过一个卷积层、一个池化层、一个卷积层和sigmoid激活函数后得到每个通道的权重，每个通道的权重和所述特征图进行元素级相乘，得到不同权重的通道特征。进一步，所述降质网络具体处理过程为：输入图像经过卷积层和激活函数得到浅层分析，通过均值池化层将特征尺寸降至与所述真实低分辨率图像一致，最后通过卷积层和激活函数堆叠配合提取特征，直至得到所述输出图像。经由上述的技术方案可知，与现有技术相比，本专利技术公开提供了一种弱监督红外遥感图像超分辨率重建方法，采用循环机制进行超分辨率重建，可以直接从低分辨率图像学习适应真实低分辨率图像特征，能够利用更多的实际低分辨率遥感图像的信息，重建实际低分辨率遥感图像的效果更好。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1附图为本专利技术提供的弱监督循环机制网络示意图。图2附图为本专利技术提供的超分网络结构示意图。图3附图为本专利技术提供的降质网络结构示意图。图4附图为本专利技术提供的重建结果对比图。其中，图4a表示原图，图4b表示双线性差值方法重建效果图，图4c表示利用本专利技术重建的效果图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例为了解决基于监督的超分辨率重建方法不能适应真实低分辨率数据的缺点，将具有优秀特征提取能力的通道注意力模块与只需要低分辨率数据的循环训练机制相结合，提出了循环训练机制与通道注意力模块结合的弱监督红外遥感图像超分辨率重建方法，能够利用合成的高低分辨率图像对进行逐像素约束，又能够只利用低分辨率数据使得网络对于真实低分辨率数据更具适应性，对重建实际低分辨率遥感图像具有一定程度上的效果提升。本专利技术的方法包含两个生成网络，超分网络S和降质网络D，超分网络实现低分辨率图像到高分辨率图像的映射，而降质网络实现由高分辨率图像到低分辨率图像的映射。如图1所示，弱监督循环机制网络的输入输出分为两个支流，一个是上方的监督学习支流，输入的数据是经高分辨率图像HR经过双三次降采样获得的合成低分辨率数据LRBI，LRBI通过超分网络输出重建高分辨率图像SR，对SR与HR进行逐像素约束，称为内容损失，使得超分网络S超分出来的图像忠实于原图像内容。另一支流是下方的无监督学习支流，输入的是真实低分辨率图像LR，图像LR经过超分网络S再经过降质网络D，恢复到与输入图像大小相同的图像LR'，这个过程不涉及到真实低分辨率图像LR对应的高分辨率真值，只通过对LR与LR'之间的一致性进行约束(称为循环损失)，使网络能够直接从低分辨率数据中学习，从而更加适应真实低分辨率数据超分辨率重建。整个网络采用内容损失和循环损失进行训练，训练的损失函数如下。内容损失确保超分网络忠于原图像内容，且使训练更加稳定，网络收敛的更快，定义如下：(1)式中，Lcon表示内容损失，S为超分网络，LRBI为双三次降采样合成的低分辨率图像，HR为高分辨率图像，N代表一次迭代中的图像数目，i表示图像编号。本文档来自技高网...

【技术保护点】
1.一种弱监督红外遥感图像超分辨率重建方法，其特征在于，包括：/n步骤1：对高分辨率图像HR进行双三次降采样得到低分辨率图像LRBI，并将所述低分辨率图像LRBI输入至超分网络中，得到重建高分辨率图像SR；/n对所述高分辨率图像HR和所述重建高分辨率图像SR进行逐像素约束，计算内容损失；/n步骤2：将真实低分辨率图像LR依次输入至所述超分网络和降质网络中，得到输出图像LR'；/n对所述真实低分辨率图像LR和所述输出图像LR'进行一致性约束，计算循环损失；/n步骤3：基于所述内容损失和所述循环损失计算总损失，并根据所述总损失优化所述超分网络和所述降质网络的参数；/n步骤4：循环步骤1～步骤3，直至所述超分网络和所述降质网络收敛；/n步骤5：将待超分的图像输入至训练好的所述超分网络中，获得超分辨率重建结果。/n

【技术特征摘要】
1.一种弱监督红外遥感图像超分辨率重建方法，其特征在于，包括：
步骤1：对高分辨率图像HR进行双三次降采样得到低分辨率图像LRBI，并将所述低分辨率图像LRBI输入至超分网络中，得到重建高分辨率图像SR；
对所述高分辨率图像HR和所述重建高分辨率图像SR进行逐像素约束，计算内容损失；
步骤2：将真实低分辨率图像LR依次输入至所述超分网络和降质网络中，得到输出图像LR'；
对所述真实低分辨率图像LR和所述输出图像LR'进行一致性约束，计算循环损失；
步骤3：基于所述内容损失和所述循环损失计算总损失，并根据所述总损失优化所述超分网络和所述降质网络的参数；
步骤4：循环步骤1～步骤3，直至所述超分网络和所述降质网络收敛；
步骤5：将待超分的图像输入至训练好的所述超分网络中，获得超分辨率重建结果。


2.根据权利要求1所述的一种弱监督红外遥感图像超分辨率重建方法，其特征在于，所述内容损失的具体计算公式为：



式中，Lcon表示内容损失，S为超分网络，LRBI为双三次降采样合成的低分辨率图像，HR为高分辨率图像，N代表一次迭代中的图像数目，i表示图像编号。


3.根据权利要求2所述的一种弱监督红外遥感图像超分辨率重建方法，其特征在于，所述循环损失的具体计算公式为：



式中，Lcyc表示内容损失，S为超分网络，D为降质网络，LR为真实低分辨率图像，N代表一次迭代中的图像数目，i表示图像编号。


4...

【专利技术属性】
技术研发人员：张浩鹏，张聪，姜志国，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11