多线索引导的无人机热红外图像超分辨率重建方法及系统技术方案

本发明专利技术提供多线索引导的无人机热红外图像超分辨率重建方法及系统，方法包括：提取可见光图像及热红外图像中的线索特征；将已得到的线索送入多线索引导模块中，以产生不同的特征；三种线索送入渐进式融合模块进行融合；通过对融合的特征图进行上采样，得到高分辨率无人机热红外图像。本发明专利技术解决了大规模图像超分辨率重建的场景下纹理信息恢复困难、图像纹理恢复错误、纹理恢复真实性低、恢复细节较少的技术问题。技术问题。技术问题。

【技术实现步骤摘要】
多线索引导的无人机热红外图像超分辨率重建方法及系统


[0001]本专利技术涉及计算机视觉和图像处理领域，具体涉及多线索引导的无人机热红外图像超分辨率重建方法及系统。

技术介绍

[0002]热成像对光照条件不敏感，因此在智能城市、森林防火、气体泄漏和农业生产等方面有着广泛的应用。然而，由于传感器的尺寸限制。在广泛应用热成像的无人机平台上，获取高分辨率的热红外图像非常困难。图像分辨率不足已成为限制对无人机热红外图像理解的一个关键问题。为此，需要对无人机的热红外图像进行超分辨率重建。图像超分辨重建技术(Super Resolution,SR)，即从给定的低分辨率图像中恢复出高分辨率(High Resolution,HR)图像，具备较高的实用价值和广阔的应用前景。
[0003]现有的单幅图像超分辨率重建方法采用迭代反向投影法以及基于卷积神经网络(CNN)的上采样方法。例如公布号为CN114926337A的现有专利技术专利申请文献《基于CNN和Transformer混合网络的单幅图像超分辨率重建方法及系统》该方法以CNN和Transformer混合网络作为单幅图像超分辨率重建的深度网络，将低分辨率图像输入到CNN和Transformer混合网络，混合网络输出重建的高分辨率图像。前述现有方法对X2和X4的超分辨率重建取得了一些效果。然而，由于低分辨率图像所包含的信息有限，在进行大规模图像超分辨率重建时，这些单一图像超分辨率重建方法很难恢复相应的纹理信息，则在一定程度上无法满足无人机平台下的热红外图像超分辨率重建的需要。<br/>[0004]为了产生更好的重建结果，最近的研究在图像超分辨率重建过程中使用引导信息来补充低分辨率图像中缺失的纹理。导引图像超分辨率重建方法使用网络从可见光和热图像中提取特征，最后使用CNN融合它们来迁移可见光图像的纹理。这些方法在手持相机拍摄的图像上取得了很大进展，并且大部分无人机也配备了带有多个传感器的摄像头来捕获可见光图像与热红外图像，例如公布号为CN115131207A的现有专利技术专利申请文献《一种水下图像的超分辨率重建方法及水下机器人终端》控制光学相机和深度相机分别拍摄同一目标在同一时刻的原始水下图像与深度图像；采用Canny算法提取所述深度图像的边缘轮廓；对所述原始水下图像进行去噪并与所述深度图像的所述边缘轮廓对齐修正后，得到具有平滑轮廓的配对图片；由所述平滑轮廓作为引导，采用联合双边滤波器重建高分辨率的水下图像纹理，得到高分辨率水下图片。本专利技术采用光学相机和深度相机分别拍摄原始水下图像和深度图像，将深度图像作为原始水下图像的引导，实现水下图像的超分辨率重建，从而增强水下图像的分辨率以得到高分辨率的水下图片，但是前述现有技术在解决无人机热红外图像的超分辨率重建问题时，由于无人机本身的成像原理，获得高分辨率可见光图像相较于高分辨率热红外图像更易获得，导致它们无法充分利用无人机平台的可见光线索，往往会恢复错误的纹理。
[0005]综上，现有技术存在大规模图像超分辨率重建的场景下纹理信息恢复困难、图像纹理恢复错误、纹理恢复真实性低、恢复细节较少的技术问题。

技术实现思路

[0006]本专利技术所要解决的技术问题在于如何解决大规模图像超分辨率重建的场景下纹理信息恢复困难、图像纹理恢复错误、纹理恢复真实性低、恢复细节较少的技术问题。
[0007]本专利技术是采用以下技术方案解决上述技术问题的：多线索引导的无人机热红外图像超分辨率重建方法包括：
[0008]S1、对无人机热红外图像与GT图像进行特征抽取，以得到热红外图像特征、可见光图像线索特征；
[0009]S2、构建并利用多线索引导模块MGM的引导层GL执行自注意力机制，增强不同线索中的信息，以得到增强线索特征，执行交叉注意力机制，在热红外图像特征中，嵌入增强线索特征，据以使用注意力机制进行引导，在每个引导分支得到相应线索引导特征；
[0010]S3、构建并利用渐进式融合模块PFM，融合语义线索引导特征以及边缘线索引导特征，以整合获取语义边缘互补信息特征，将语义边缘互补信息特征在外观引导分支上进行融合操作，以得到渐进式融合特征；
[0011]S4对渐进式融合特征进行上采样，以得到高分辨率热红外无人机图像，求取无人机热红外图像与GT图像之间的L1像素损失，据以训练预置MGnet网络，据以处理得到高分辨率无人机热红外图像。
[0012]本专利技术通过提出一种新的多条件引导网络MGNet来挖掘可见图像中的外观、特征图和实例分割线索，以指导无人机热红外成像的超分辨率重建任务，能够在热力无人机图像中恢复更真实的纹理。具体而言，本专利技术设计了一个多线索引导模块，以有效的方式嵌入不同的线索，并设计了一个渐进式融合模块，以充分利用不同线索的关联性和互补性。
[0013]与现有的最先进的导引图像超分辨率重建方法和单一图像超分辨率重建方法相比，本专利技术的方法可以恢复更多的现实细节，并在评估指标和感知方面有更好的表现。
[0014]在更具体的技术方案中，步骤S1包括：
[0015]S11、使用预训练VGG
‑
19网络，从原始图像提取外观引导深层特征；
[0016]S12、提取原始图像中的可见光图像的梯度图；
[0017]S13、使用PSPNet在Cityscapes数据集上进行预训练，从可见光图像中提取实例分割引导线索；
[0018]S14、利用浅层特征提取器，根据外观引导深层特征、可见光图像的梯度图以及实例分割引导线索，提取得到热红外图像特征。
[0019]本专利技术使用预训练好的VGG
‑
19网络来提取外观引导的深层特征，以减少不同模态之间的差异，利于多模态的融合。
[0020]在更具体的技术方案中，步骤S2包括：
[0021]S21、利用不少于2个的引导分支，学习不同的热红外图像特征，以得到各线索的引导特征，其中，引导分支包括：语义线索引导分支、边缘线索引导分支以及外观引导分支；
[0022]S22、利用视觉变换器，根据注意力机制，将线索嵌入于每个引导分支，引导层GL利用自注意力机制增强不同的线索特征，以得到增强线索特征；
[0023]S23、利用交叉注意机制在热能表征中，嵌入增强线索特征，以在每个引导分支得到相应线索引导特征，其中，相应线索引导特征包括：语义线索引导特征、边缘线索引导特征。
[0024]本专利技术构建并利用GL层获得特征之间的相互联系信息和全局建模能力所需的上下文信息，有利于机器在可见图像上挖掘出更深的全局特征，且将热红外特征与可见特征一一对应，使得热红外特征的重建能够与可见特征有较强的联系，优化了图像纹理回复效果。
[0025]在更具体的技术方案中，步骤S21中，利用下述逻辑计算不同线索的引导特征：
[0026]Q＝XWQ,K＝XW K,V＝XWV
[0027]式中，W
Q
、W K
和W
V
是由不同窗口之间共享的投影矩阵，X表示输入特征。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.多线索引导的无人机热红外图像超分辨率重建方法，其特征在于，所述方法包括：S1、对无人机热红外图像与GT图像进行特征抽取，以得到热红外图像特征、可见光图像线索特征；S2、构建并利用多线索引导模块MGM的引导层GL执行自注意力机制，增强不同线索中的信息，以得到增强线索特征，执行交叉注意力机制，在所述热红外图像特征中，嵌入所述增强线索特征，据以使用注意力机制进行引导，在每个所述引导分支得到相应线索引导特征；S3、构建并利用渐进式融合模块PFM，融合所述语义线索引导特征以及所述边缘线索引导特征，以整合获取语义边缘互补信息特征，将所述语义边缘互补信息特征在所述外观引导分支上进行融合操作，以得到渐进式融合特征；S4对所述渐进式融合特征进行上采样，以得到高分辨率热红外无人机图像，求取所述无人机热红外图像与所述GT图像之间的L1像素损失，据以训练预置MGnet网络，据以处理得到高分辨率无人机热红外图像。2.根据权利要求1所述的多线索引导的无人机热红外图像超分辨率重建方法，其特征在于，所述步骤S1包括：S11、使用预训练VGG
‑
19网络，从所述原始图像提取外观引导深层特征；S12、提取所述原始图像中的可见光图像的梯度图；S13、使用PSPNet在Cityscapes数据集上进行预训练，从所述可见光图像中提取实例分割引导线索；S14、利用浅层特征提取器，根据所述外观引导深层特征、所述可见光图像的梯度图以及所述实例分割引导线索，提取得到所述热红外图像特征。3.根据权利要求1所述的多线索引导的无人机热红外图像超分辨率重建方法，其特征在于，所述步骤S2包括：S21、利用不少于2个的引导分支，学习不同的所述热红外图像特征，以得到各线索的引导特征，其中，所述引导分支包括：语义线索引导分支、边缘线索引导分支以及外观引导分支；S22、利用视觉变换器，根据所述注意力机制，将所述线索嵌入于每个所述引导分支，引导层GL利用自注意力机制增强不同的线索特征，以得到增强线索特征；S23、利用交叉注意机制在热能表征中，嵌入所述增强线索特征，以在每个所述引导分支得到相应线索引导特征，其中，所述相应线索引导特征包括：语义线索引导特征、边缘线索引导特征。4.根据权利要求1所述的多线索引导的无人机热红外图像超分辨率重建方法，其特征在于，所述步骤S21中，利用下述逻辑计算不同线索的所述引导特征：Q＝XWQ,K＝XW K,V＝XWV式中，W
Q
、W K
和W
V
是由不同窗口之间共享的投影矩阵，X表示输入特征。5.根据权利要求1所述的多线索引导的无人机热红外图像超分辨率重建方法，其特征在于，所述步骤S22中，利用下述逻辑求取注意力矩阵：Attention(Q,K,V)＝softmax(QKT/pdk+B)V式中，B是可学习的相对位置编码矩阵，dk是查询K的维度，Attention(
‑
)表示多头自注意或多头交叉注意函数。
6.根据权利要求1所述的多线索引导的无人机热红外图像超分辨率重建方法，其特征在于，所述步骤S22中，所述引导层GL利用下述逻辑求取所述线索特征及输出特征：在于，所述步骤S22中，所述引导层GL利用下述逻辑求取所述线索特征及输出特征：在于，所述步骤S22中，所述引导层GL利用下述逻辑求取所述线索特征及输出特征：在于，所述步骤S22中，所述引导层GL利用下述逻辑求取所述线索特征及输出特征：式中，MSA和MCA表示多头自注意和多头交叉注意机制的功能，MLP和LN分别表示多层感知器和层归一化，x和z
l
‑1分...

【专利技术属性】
技术研发人员：赵志成，张钰，余瑞，方翔，张涌，肖云，李成龙，汤进，
申请(专利权)人：安徽大学，
类型：发明
国别省市：