一种基于特征热图的红外双波段图像融合方法技术

本发明专利技术涉及一种基于特征热图的红外双波段图像融合方法，通过深度学习检测网络与图像融合网络，利用神经网络算法分类与感知特性得到特征热图与图像融合权重矩阵，得到一种基于特征热图的红外双波段图像融合方法，提高红外探测复杂多变背景下融合图像目标信息，抑制背景环境。本方法通过利用特征热图，改变了原有传统图像融合方法融合时仅能全局融合的特性，使得融合算法可以根据不同需要融合图像中指定区域，同时抑制其余区域的信息，实现图像融合。合。合。

【技术实现步骤摘要】
一种基于特征热图的红外双波段图像融合方法


[0001]本专利技术属于数字图像处理中图像融合领域，涉及一种基于特征热图的红外双波段图像融合方法。

技术介绍

[0002]随着近现代战场环境变得日益复杂，红外成像导引头、红外搜索与跟踪系统等红外探测设别的远距探测需求也日益增长，不再局限于单一的环境和气候背景。但由于远距探测环境的复杂多变与恶劣的气象环境，单波红外所探测的信息量已无法满足检测识别目标的要求，导致无法确定目标的信息。所以目前的发展主要通过双波/多波段红外协同探测，提升对目标信息的获取，同时发展红外双波图像融合技术。
[0003]目前关于红外双波段图像融合的方法大多都通过全图融合等方式进行，像素级或者特征级融合方法均采用全局融合的方式，增强目标信息的同时将背景信息也同时增强，而无法实现同时增强目标、抑制背景信息。这导致在检测识别过程中，存在背景干扰，容易出现错检、漏检与识别错误等问题。
[0004]因此，在对现有红外双波段图像融合方法的深入研究的基础上，提出一种基于特征热图的红外双波段图像融合方法，凸显融合图像中目标的信息，抑制背景环境，提升融合过程的自主性与场景感知调整能力。

技术实现思路

[0005]要解决的技术问题
[0006]为了避免现有技术的不足之处，本专利技术提出一种基于特征热图的红外双波段图像融合方法，实现图像融合中目标增强，背景抑制。
[0007]技术方案
[0008]一种基于特征热图的红外双波段图像融合方法，其特征在于步骤如下：
[0009]步骤1：对红外中波、长波图像数据进行配准，保留图像背景重叠部分，将两幅图像裁剪成相同大小，构建融合图像数据集Data＝{(I
m1
,I
l1
),(I
m2
,I
l2
),
…
(I
mn
,I
ln
)}，其中I
m
表示中波图像，I
l
表示长波图像；
[0010]步骤2：将数据集分为两组Data
train
和Data
test
，Data
train
图像作为训练样本，Data
test
作为测试样本，对Data
train
数据进行标注，得到标注后的数据作为网络训练的输入；
[0011]Data
label
＝Label(Data
train
)＝{(I1,x1,y1,width1,hight1),
…
,(I
n
,x
n
,y
n
,width
n
,hight
n
)}
[0012]步骤3：构建图像融合网络，图像融合网络输入为步骤2训练集中波、长波图像，输出为像素级图像融合方法融合权重矩阵：
[0013]ω＝Fuse(I
m
,I
L
)
[0014]其中ω为融合权重矩阵，Fuse为深度学习网络；
[0015]检测网络输入为标注后的数据，输出为目标的位置信息；
[0016]步骤4：步骤2中的训练数据送入图像融合网络进行训练，标注数据送入检测网络进行训练，得到训练后的模型；
[0017]步骤5：将步骤4得到的预训练模型进行组合，首先，模型的第一帧图像的输入为红外中波、长波图像数据，经过图像融合模型得到融合权重，根据融合权重融合中波、长波图像得到融合图像；其次，将融合后图像作为检测网络输入，经过检测网络，在检测网络的输出层前得到特征图，根据特征图权重融合特征信息得到特征热图；最后，从第二帧开始，将前一帧得到特征热图与当前帧图像融合网络的得到的融合权重相乘，得到目标增强后的融合权重，再与当前帧中波、长波图像结合，形成融合图像；
[0018]步骤6：根据步骤5所得模型，将图像步骤2所述测试集中中波、长波图像分组输入模型，得到融合图像。
[0019]有益效果
[0020]本专利技术提出的一种基于特征热图的红外双波段图像融合方法，通过深度学习检测网络与图像融合网络，利用神经网络算法分类与感知特性得到特征热图与图像融合权重矩阵，得到一种基于特征热图的红外双波段图像融合方法，提高红外探测复杂多变背景下融合图像目标信息，抑制背景环境。本方法通过利用特征热图，改变了原有传统图像融合方法融合时仅能全局融合的特性，使得融合算法可以根据不同需要融合图像中指定区域，同时抑制其余区域的信息，实现图像融合。
[0021]本专利技术的优点与有益效果主要体现在：在现有图像融合方法基础上，利用深度学习算法感知能力，实现图像融合算法的目标增强，可抑制环境所处图像中的融合权重，增强目标信息，同时也不影响原有图像的信息，最终达到融合图像中目标信息的目的。
附图说明
[0022]图1：基于特征热图的图像融合模型结构；
[0023]图2：基于特征热图的融合流程图；
[0024]图3：基于特征热图的融合方法流程图；
[0025]图4：基于特征热图的融合结果
[0026]a、长波天空背景；b、中波天空背景；c、融合结果；d、长波天空背景；e、中波天空背景；f、融合结果。
具体实施方式
[0027]现结合实施例、附图对本专利技术作进一步描述：
[0028]本专利技术提供如下的技术方案：建立一种基于特征热图的红外双波段图像融合模型，所述的模型设计方法包括以下步骤，其中主要包括三个部分：第一部分是对数据集进行预处理；第二部分是深度学习模型的构建与训练；第三部分是图像融合模型构建与对融合模型的测试：
[0029]第一部分包括两个步骤：
[0030]步骤一，获取红外中波、长波图像数据，对图像预处理，构建融合图像数据集Data＝{(I
m1
,I
l1
),(I
m2
,I
l2
),
…
(I
mn
,I
ln
)}，其中I
m
表示中波图像，I
l
表示长波图像。
[0031]步骤二，将步骤一中所述数据集分为两组Data
train
和Data
test
，Data
train
图像作为训
练样本，Data
test
作为测试样本，对Data
train
数据进行标注，得到标注后的数据作为网络训练的输入。
[0032]Data
label
＝Label(Data
train
)＝{(I1,x1,y1,width1,hight1),
…
,(I
n
,x
n
,y
n
,width
n...

【技术保护点】

【技术特征摘要】
1.一种基于特征热图的红外双波段图像融合方法，其特征在于步骤如下：步骤1：对红外中波、长波图像数据进行配准，保留图像背景重叠部分，将两幅图像裁剪成相同大小，构建融合图像数据集Data＝{(I
m1
,I
l1
),(I
m2
,I
l2
),...(I
mn
,I
ln
)}，其中I
m
表示中波图像，I
l
表示长波图像；步骤2：将数据集分为两组Data
train
和Data
test
，Data
train
图像作为训练样本，Data
test
作为测试样本，对Data
train
数据进行标注，得到标注后的数据作为网络训练的输入；Data
label
＝Label(Data
train
)＝{(I1,x1,y1,width1,hight1),...,(I
n
,x
...

【专利技术属性】
技术研发人员：李少毅，杨曦，孙扬，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：