【技术实现步骤摘要】
结合模型结构重构和注意力机制的空天遥感图像融合方法
[0001]本专利技术涉及数据融合、图像处理领域，尤其是一种图像融合方法。
技术介绍
[0002]现有空天平台被广泛应用于监视与侦察等军事任务，以及国土勘测，自然灾害预测等民用领域。其拍摄环境较为复杂，需要在不同天气条件和光照条件下工作，并且需要昼夜连续运行，因此空天平台一般需要搭载多种图像传感器以适应不同的任务场景，目前空天平台一般搭载红外传感器和可见光传感器。红外图像的成像主要依靠物体自身的热辐射进行，因此不受光照条件、天气的影响，但其对比度一般较低；可见光图像虽然细节纹理信息较为丰富，但其容易受到光照条件的影响，将红外与可见光图像进行融合可以得到对环境信息和重要目标信息全面描述的图像。而目前基于空间域和变换域的图像融合方法鲁棒性不强，难以满足环境复杂多变的无人机监视侦察任务要求；一些深度学习方法则在运行效率方面表现不佳，不能满足实时性需求。综上所述，当前需要一种既能实现高质量融合，又能高效完成融合任务的图像融合算法。
技术实现思路
[0003]为了克服现有技术的不足，本专利技术提供一种结合模型结构重构和注意力机制的空天遥感图像融合方法。本专利技术提出一种基于多层级联式神经网络结构的端到端图像融合模型，增加了注意力机制通过对特征图赋予权重信息，有效去除融合结果中的冗余信息，突出重要目标的特征；采用模型结构重构的方法在模型训练阶段和模型测试阶段采用不同的网络结，提升融合算法的运行效率，使得图像融合达到准实时的效果，大幅度提升模型的运算速度。>[0004]为有效提升检测模型对于源图像中重要目标的提取能力，提升模型的运算速度。本专利技术提出了一种基于多层级联式神经网络结构的端到端图像融合模型，引入注意力模块结构和模型结构重构模块，提升模型的融合效果和融合速度。
[0005]本专利技术解决其技术问题所采用的技术方案包括如下步骤：
[0006]步骤一：使用集成了红外摄像机和可见光摄像机的空天平台获得行人、汽车以及建筑的包含多个目标的红外、可见光视频数据，并将视频数据按照间隔5帧的方式分解为图像，作为数据集；
[0007]步骤二：对于获得的数据集进行数据增强，数据增强包括随机改变图像对比度和亮度，及进行旋转、翻转和平移的操作，以增强原数据集的数据多样性，扩展数据分布范围，并将数据集随机分为训练集、测试集、验证集；
[0008]步骤三：将红外数据与可见光数据输入至图2所示的多层级联式图像融合模型结构中，使用梯度下降的方法不断最小化损失函数，利用反向传播不断更新网络参数，最终得到用于推理的权重文件；
[0009]多层级联式图像融合模型结构中，使用Pytorch框架将其实现，并将数据集中的训
练集输入至模型中进行训练，在70期训练过程中，利用梯度下降的方法不断最小化损失函数，并使用反向传播更新深度学习网络参数，最终的得到用于推理的权重文件；所述多层级联式图像融合模型结构中，在图像特征提取阶段，解耦了训练时的架构和推理时的架构，使用多分支网络架构进行训练，而使用单路模型进行推理，特征提取阶段共使用5个模型结构重构模块进行特征提取，将特征图尺寸变为7
×7×
128，将经过特征提取的特征图输入至注意力模块以去除特征图中的冗余信息，将经过注意力模块的红外图像特征图和可见光特征图进行拼接，得到尺寸为7
×7×
256的特征图，采用级联的方式，将浅层特征与深层特征相拼接，然后利用反卷积层，逐层将特征图重构为尺寸为224
×
224
×
1的融合结果；
[0010]步骤四：利用本专利技术设计的如图3所示的模型结构重构方法将多分支的图像特征提取网络结构等效转化为单路模型结构，重构多层级联式图像融合模型，以提升模型的运算速度；
[0011]步骤五：将红外与可见光图像的测试集在模型结构重构后的网络模型上进行推理，保留其在推理阶段的测试数据；
[0012]步骤六：利用图像融合方法与检测结果进行对比分析。
[0013]所述多层级联式图像融合模型结构的训练部分，特征提取阶段采用的多分支模型结构，使用1
×
1和3
×
3两种卷积核，令代表特征图，其中H
×
W代表特征图的高度和宽度，C代表特征图通道数，将其输入到模型结构重构模块后，分别经过3
×
3卷积核和1
×
1卷积核进行卷积，卷积核步长为2，扩充为1，该操作用式(5)表示：
[0014][0015]其中j表示该层的第j个卷积核，表示经过卷积处理的输出，*表示二维卷积操作，β为偏置；
[0016]将所得结果输入至批归一化(Batch normalizations)层中，用以减少过拟合和加快训练进程，输出O写为式(6)形式：
[0017][0018]其中γ为比例因子，β为偏置，μ为当前通道的均值，σ为标准差。输入图像在分别进行3
×
3卷积和1
×
1卷积以及相应批归一化操作后，将得到的两组权重矩阵进行对应元素相加，使用斜率为0.1的LeakyReLu激活函数增加模型非线性，防止出现梯度消失的情况。
[0019]在训练阶段完成之后，对模型中的特征提取部分采用模型结构重构，具体重构的步骤如下：
[0020]将模型结构重构模块训练时采用的多分支结构等价转化为只有3
×
3卷积核的单路模型，从而提高推理时的运行速度，该过程称为模型结构重构；大小相同的二维卷积核在相同的输入上以相同的步幅操作可以产生相同分辨率的输出，将这些核的对应权重相加，得到产生相同输出的等效卷积核；
[0021]以表示3
×
3的卷积核，表示1
×
1卷积核，利用式(6)中给出整理后的结果，得出融合后的卷积核f
′
(j)
和偏置b
j
，如式(7)、(8)所示。
[0022][0023][0024]利用以上结果得到，使用最终融合后的卷积核进行卷积操作表示为式(9)的形式：
[0025][0026]经过以上结构重构，完成了将多分支结构转化为单路模型的过程，转化前后相对应的模型结构重构模块在输入尺寸和输出尺寸是一致的。
[0027]所述注意力模块利用池化、卷积以及激活等操作得到权重图，注意力模块中，将经过特征提取模块的尺寸为7
×7×
128的特征图输入到注意力模块中，首先分别进行平均池化和最大值池化，最大池化可以有效增加图像特征的不变性，增强图像在偏移、旋转等方面的鲁棒性；而平均池化则具有更好的保留局部信息的作用，因此在注意力模块中同时使用这两种池化层，以X＝[x1,x2,x3,...,x
n
]表示特征图，x
n
(i,j)表示第n层卷积在(i,j)对应位置上的权重，平均池化层和最大值池化层分别如式(1)，式(2)所示：
[0028][0029][003本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种结合模型结构重构和注意力机制的空天遥感图像融合方法其特征在于包括下述步骤：步骤一：使用集成了红外摄像机和可见光摄像机的空天平台获得行人、汽车以及建筑的包含多个目标的红外、可见光视频数据，并将视频数据按照间隔5帧的方式分解为图像，作为数据集；步骤二：对于获得的数据集进行数据增强，数据增强包括随机改变图像对比度和亮度，及进行旋转、翻转和平移的操作，以增强原数据集的数据多样性，扩展数据分布范围，并将数据集随机分为训练集、测试集、验证集；步骤三：将红外数据与可见光数据输入至多层级联式图像融合模型结构中，使用梯度下降的方法不断最小化损失函数，利用反向传播不断更新网络参数，最终得到用于推理的权重文件；多层级联式图像融合模型结构中，使用Pytorch框架将其实现，并将数据集中的训练集输入至模型中进行训练，在训练过程中，利用梯度下降的方法不断最小化损失函数，并使用反向传播更新深度学习网络参数，最终的得到用于推理的权重文件；所述多层级联式图像融合模型结构中，在图像特征提取阶段，解耦了训练时的架构和推理时的架构，使用多分支网络架构进行训练，而使用单路模型进行推理，特征提取阶段共使用5个模型结构重构模块进行特征提取，将特征图尺寸变为7
×7×
128，将经过特征提取的特征图输入至注意力模块以去除特征图中的冗余信息，将经过注意力模块的红外图像特征图和可见光特征图进行拼接，得到尺寸为7
×7×
256的特征图，采用级联的方式，将浅层特征与深层特征相拼接，然后利用反卷积层，逐层将特征图重构为尺寸为224
×
224
×
1的融合结果；步骤四：利用模型结构重构将多分支的图像特征提取网络结构等效转化为单路模型结构，重构多层级联式图像融合模型，以提升模型的运算速度；步骤五：将红外与可见光图像的测试集在模型结构重构后的网络模型上进行推理，保留其在推理阶段的测试数据；步骤六：利用图像融合方法与检测结果进行对比分析。2.根据权利要求1所述的结合模型结构重构和注意力机制的空天遥感图像融合方法，其特征在于：所述多层级联式图像融合模型结构的训练部分，特征提取阶段采用的多分支模型结构，使用1
×
1和3
×
3两种卷积核，令代表特征图，其中H
×
W代表特征图的高度和宽度，C代表特征图通道数，将其输入到模型结构重构模块后，分别经过3
×
3卷积核和1
×
1卷积核进行卷积，卷积核步长为2，扩充为1，该操作用式(5)表示：其中j表示该层的第j个卷积核，表示经过卷积处理的输出，*表示二维卷积操作，β为偏置；将所得结果输入至批归一化层中，用以减少过拟合和加快训练进程，输出O写为式(6)形式：
其中γ为比例因子，β为偏置，μ为当前通道的均值，σ为标准差。输入图像在分别进行3
×
3卷积和1
×
1卷积以及相应批归一化操作后，将得到的两组权重矩阵进行对应元素相加，使用斜率为0.1的LeakyReLu激活函数增加模型非线性，防止出现梯度消失的情况。3.根据权利要求1所述的结合模型结构重构和注意力机制的空天遥感图像融合方法，其特征在于：在训练阶段完成之后，对模型中的特征提取部分采用模型结构重构，具体重构的步骤如下：将模型结构重构模块训练时采用的多分支结构等价转化为只有3
×
3卷积核的单路模型，从而提高推理时的运行速度，该过程称为模型结构重构；大小相同的二维卷积核在相同的输入上以相同的步幅操作可以产生相同分辨率的输出，将这些核的对应权重相加，得到产生相同输出的等效卷积核；以表示3
×
3的卷积核，表示1
×
1卷积核，利用式(6)中给出整理后的结果，得出融合后的卷积核f
′
(j)
和偏置b
j
，如式(7)、(8)所示。，如式(7)、(8)所示。利用以上结果得到，使用最终融合后的卷积核进行卷积操作表示为式(9)的形式：经过以上结构重构，完成了将多分支结构转化为单路模型的过程，转化前后相对应的模型结构重构模块在输入尺寸和输出尺寸是一致的。4.根据权利要求1所述的结合模型结构重构和注意力机制的空天遥感图像融合方法，其特征在于：所述注意力模块利用池化、卷积以及激活等操作得到权重图，注意力模块中，将经过特征提取模块的尺寸为7
×7×
128的特征...
【专利技术属性】
技术研发人员：吕军锋，崔祺，许悦雷，张兆祥，周清，回天，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。