目标语义层级挖掘的红外与可见光图像融合方法技术

本发明专利技术属于图像信息处理技术领域，提出一种目标语义层级挖掘的红外与可见光图像融合方法。图像融合网络包括融合特征模块、语义特征模块、层级挖掘模块与图像重建模块；源图像对输入至图像融合网络后，融合特征模块提取源图像对的图像融合特征F

【技术实现步骤摘要】
目标语义层级挖掘的红外与可见光图像融合方法


[0001]本专利技术涉及图像信息处理
，尤其涉及一种目标语义层级挖掘的红外与可见光图像融合方法。

技术介绍

[0002]红外传感器根据物体发出的热辐射信息来形成图像，因此可以良好的捕捉目标的结构与轮廓，不易受外部环境因素(如光照条件)的影响。但红外图像受其成像原理的限制，无法体现被捕捉场景中的纹理等细节信息且图像分辨率较低。而可见光传感器根据光的反射原理进行成像，可见光传感器在良好的照明条件下可以获得分辨率高、纹理等细节信息丰富的可见光图像，但可见光图像的质量易受外部环境的影响。红外与可见光图像的融合旨在生成同时具备两种模态优势的融合图像，在理想状态下，该融合图像可以包含各个模态中互补的有效信息，抛弃冗余信息，可以准确、全面地描述实际场景并且有效地缓解了数据体积增大的问题。因此，此技术也被广泛地应用于遥感、医学、安防等领域。
[0003]现有的图像融合算法可以分为两类：传统算法与基于深度学习的算法。在传统算法领域，Li等人在《MDLatLRR:A Novel Decomposition本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标语义层级挖掘的红外与可见光图像融合方法，其特征在于，基于图像融合网络实现；所述图像融合网络包括融合特征模块、语义特征模块、层级挖掘模块与图像重建模块；源图像对输入至图像融合网络后，融合特征模块提取源图像对的图像融合特征F
uj
，语义特征模块提取源图像对的图像语义特征F
ej
；层级挖掘模块挖掘多个层级的目标语义特征并进行整合，多次重复特征提取与挖掘后，通过图像重建模块生成融合结果；所述图像融合网络的损失函数为SSIM损失；首先计算两幅输入图像x、y之间的SSIM数值，如公式1所示，其中，μ
x
、μ
y
为输入图像x、y各自的均值，σ
x
、σ
y
为输入图像x、y各自的标准差，σ
xy
为输入图像x、y之间的协方差；所述SSIM损失计算如公式2所示；其中，I
f
为融合结果，I
i
为输入的红外图像，I
v
输入的可见光图像；当I
f
包含I
i
、I
v
中信息越多时，L
f
越趋近于0，该损失用于约束图像融合网络生成的结果包含输入源图像对的信息。2.根据权利要求1所述的目标语义层级挖掘的红外与可见光图像融合方法，其特征在于，所述层级挖掘模块包括三个支路，分别为上方支路、中间支路和下方支路；所述上方支路用于直接传输图像融合特征；所述中间支路为权重支路，用于计算挖掘图像语义特征不同层级的权重；第j个层级挖掘模块的中间支路计算过程如下，首先通过两个分支计算通道权重w
cj
与空间权重w
sj
，如公式3至5所示；w
cj
＝P
×1(FC
×3(t
uj
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)w
sj
＝C
×2(t
uj
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)其中，是由图像融合特征F
uj
经过一层平均池化P
×1后与图像语义特征F
ej
级联得到，由t
uj
经过一层全局平均池化P
×1，再经过三层全连接层得到，其中前两层全连接层以ReLU为激活函数，最后一层全连接层以Sigmoid为激活函数；由t
uj
经过两层卷积层C
×2获得，其中第一层卷积层以ReLU为激活函数，第二层卷积层以Sigmoid为激活函数；所述下方支路用于图像语义特征的映射；图像语义特征首先经过两层以ReLU为激活函数的卷积层，通道权重w
cj
与空间权重w
sj
...

【专利技术属性】
技术研发人员：赵文达，解世赓，王海鹏，刘颢，杨向广，夏学知，何友，卢湖川，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：