结合模型结构重构和注意力机制的空天遥感图像融合方法技术

本发明专利技术提供了一种结合模型结构重构和注意力机制的空天遥感图像融合方法。分别对红外图像和可见光图像进行特征提取，使用注意力机制进行权重分配，将两个通道的数据进行拼接，最后再结合图像特征提取阶段的浅层数据特征进行图像重建，最后得到融合结果。本发明专利技术在图像重构时同时使用浅层特征层和深度特征层，有效避免了深层神经网络结构容易出现的特征丢失问题；引入了注意力机制模块，有效减弱了源图像中复杂背景的干扰，有效凸显重要目标信息；引入了模型结构重构模块，在保证图像融合效果的前提下有效提升了图像的融合速度。效果的前提下有效提升了图像的融合速度。效果的前提下有效提升了图像的融合速度。

【技术实现步骤摘要】
结合模型结构重构和注意力机制的空天遥感图像融合方法


[0001]本专利技术涉及数据融合、图像处理领域，尤其是一种图像融合方法。

技术介绍

[0002]现有空天平台被广泛应用于监视与侦察等军事任务，以及国土勘测，自然灾害预测等民用领域。其拍摄环境较为复杂，需要在不同天气条件和光照条件下工作，并且需要昼夜连续运行，因此空天平台一般需要搭载多种图像传感器以适应不同的任务场景，目前空天平台一般搭载红外传感器和可见光传感器。红外图像的成像主要依靠物体自身的热辐射进行，因此不受光照条件、天气的影响，但其对比度一般较低；可见光图像虽然细节纹理信息较为丰富，但其容易受到光照条件的影响，将红外与可见光图像进行融合可以得到对环境信息和重要目标信息全面描述的图像。而目前基于空间域和变换域的图像融合方法鲁棒性不强，难以满足环境复杂多变的无人机监视侦察任务要求；一些深度学习方法则在运行效率方面表现不佳，不能满足实时性需求。综上所述，当前需要一种既能实现高质量融合，又能高效完成融合任务的图像融合算法。

技术实现思路

[0003]为了克服现有技术的不足，本专本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合模型结构重构和注意力机制的空天遥感图像融合方法其特征在于包括下述步骤：步骤一：使用集成了红外摄像机和可见光摄像机的空天平台获得行人、汽车以及建筑的包含多个目标的红外、可见光视频数据，并将视频数据按照间隔5帧的方式分解为图像，作为数据集；步骤二：对于获得的数据集进行数据增强，数据增强包括随机改变图像对比度和亮度，及进行旋转、翻转和平移的操作，以增强原数据集的数据多样性，扩展数据分布范围，并将数据集随机分为训练集、测试集、验证集；步骤三：将红外数据与可见光数据输入至多层级联式图像融合模型结构中，使用梯度下降的方法不断最小化损失函数，利用反向传播不断更新网络参数，最终得到用于推理的权重文件；多层级联式图像融合模型结构中，使用Pytorch框架将其实现，并将数据集中的训练集输入至模型中进行训练，在训练过程中，利用梯度下降的方法不断最小化损失函数，并使用反向传播更新深度学习网络参数，最终的得到用于推理的权重文件；所述多层级联式图像融合模型结构中，在图像特征提取阶段，解耦了训练时的架构和推理时的架构，使用多分支网络架构进行训练，而使用单路模型进行推理，特征提取阶段共使用5个模型结构重构模块进行特征提取，将特征图尺寸变为7
×7×
128，将经过特征提取的特征图输入至注意力模块以去除特征图中的冗余信息，将经过注意力模块的红外图像特征图和可见光特征图进行拼接，得到尺寸为7
×7×
256的特征图，采用级联的方式，将浅层特征与深层特征相拼接，然后利用反卷积层，逐层将特征图重构为尺寸为224
×
224
×
1的融合结果；步骤四：利用模型结构重构将多分支的图像特征提取网络结构等效转化为单路模型结构，重构多层级联式图像融合模型，以提升模型的运算速度；步骤五：将红外与可见光图像的测试集在模型结构重构后的网络模型上进行推理，保留其在推理阶段的测试数据；步骤六：利用图像融合方法与检测结果进行对比分析。2.根据权利要求1所述的结合模型结构重构和注意力机制的空天遥感图像融合方法，其特征在于：所述多层级联式图像融合模型结构的训练部分，特征提取阶段采用的多分支模型结构，使用1
×
1和3
×
3两种卷积核，令代表特征图，其中H
×
W代表特征图的高度和宽度，C代表特征图通道数，将其输入到模型结构重构模块后，分别经过3
×
3卷积核和1
×
1卷积核进行卷积，卷积核步长为2，扩充为1，该操作用式(5)表示：其中j表示该层的第j个卷积核，表示经过卷积处理的输出，*表示二维卷积操作，β为偏置；将所得结果输入至批归一化层中，用以减少过拟合和加快训练进程，输出O写为式(6)形式：
其中γ为比例因子，β为偏置，μ为当前通道的均值，σ为标准差。输入图像在分别进行3
×
3卷积和1
×
1卷积以及相应批归一化操作后，将得到的两组权重矩阵进行对应元素相加，使用斜率为0.1的LeakyReLu激活函数增加模型非线性，防止出现梯度消失的情况。3.根据权利要求1所述的结合模型结构重构和注意力机制的空天遥感图像融合方法，其特征在于：在训练阶段完成之后，对模型中的特征提取部分采用模型结构重构，具体重构的步骤如下：将模型结构重构模块训练时采用的多分支结构等价转化为只有3
×
3卷积核的单路模型，从而提高推理时的运行速度，该过程称为模型结构重构；大小相同的二维卷积核在相同的输入上以相同的步幅操作可以产生相同分辨率的输出，将这些核的对应权重相加，得到产生相同输出的等效卷积核；以表示3
×
3的卷积核，表示1
×
1卷积核，利用式(6)中给出整理后的结果，得出融合后的卷积核f
′
(j)
和偏置b
j
，如式(7)、(8)所示。，如式(7)、(8)所示。利用以上结果得到，使用最终融合后的卷积核进行卷积操作表示为式(9)的形式：经过以上结构重构，完成了将多分支结构转化为单路模型的过程，转化前后相对应的模型结构重构模块在输入尺寸和输出尺寸是一致的。4.根据权利要求1所述的结合模型结构重构和注意力机制的空天遥感图像融合方法，其特征在于：所述注意力模块利用池化、卷积以及激活等操作得到权重图，注意力模块中，将经过特征提取模块的尺寸为7
×7×
128的特征...

【专利技术属性】
技术研发人员：吕军锋，崔祺，许悦雷，张兆祥，周清，回天，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：