一种基于多模式特征的红外与可见光图像融合方法技术

本发明专利技术公开了一种基于多模式特征的红外和可见光图像融合方法，包括：1.提取多模式特征的编码器

【技术实现步骤摘要】
一种基于多模式特征的红外与可见光图像融合方法


[0001]本申请属于图像融合领域，具体涉及一种基于多模式特征的红外与可见光图像融合方法。

技术介绍

[0002]图像融合是指将不同类型传感器获得的图像进行结合，生成一幅鲁棒的或信息丰富的图像，以便于后续的处理或决策。复杂应用程序需要有关特定场景的全面信息，以增强对该场景的全面理解。单模式传感器仅能感知目标的单一场景信息，无法对目标进行多粒度感知。因此，融合技术在现代化应用和计算机视觉中发挥着越来越重要的作用。
[0003]由于物理传感器的局限性，红外与可见光图像所捕获的场景信息有很大不同。可见光图像捕获反射光，此类图像通常具有高空间分辨率，丰富的颜色、纹理细节和高对比度的特征，适合人类的视觉感知，但容易受光照的影响，如在恶劣天气或夜晚等光线不足的场景中，其图像质量大大下降。红外图像捕获热辐射，描述物体热辐射的红外图像能够抵抗恶劣天气、光线不足等干扰，但通常空间分辨率较低，缺乏图像纹理、颜色等信息。红外与可见光的图像融合是指将同一场景下的红外和可见光图像结合起来，利用这两种图像的互补性，生成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模式特征的红外与可见光图像融合方法，其特征在于，包括以下步骤：步骤1，构建特征提取和图像重构网络，基于多尺度卷积网络，通过loss函数的的引导，优化生成一个多模式特征编码器
‑
解码器网络；步骤2，通过所述编码器
‑
解码器网络提取红外与可见光多模式特征，使用熵、梯度和显著性对所述多模式特征进行度量，并设计多模式自适应loss。步骤3，构建嵌入Transformer融合策略的融合权重学习模型，并为所述融合模型的权重赋值；步骤4，获取红外图像的显著性图作为label，加入显著性label作为融合网络优化的区域选择；步骤5，将所述嵌入Transformer融合策略的融合权重学习模型与编码器解码器级联，构建红外与可见光图像融合网络，并采用所述显著性label和多模式loss对所述红外与可见光图像融合网络进行训练。2.如权利要求1所述的方法，其特征在于，步骤1中所述编码器的结构包含：1个1
×
1卷积层和4个编码卷积模块ECB10、ECB20、ECB30和ECB40，每个编码卷积模块包含2个3
×
3卷积层和一个最大池化层；步骤1中所述解码器的结构包含：1个1
×
1卷积层和6个解码卷积模块DCB30、DCB20、DCB21、DCB10、DCB11和DCB12，每个解码卷积模块包含两个3
×
3卷积层。3.如权利要求1所述的方法，其特征在于，步骤1中所述解码器网络具体连接方式如下：在第一、第二尺度中采用横向密集跳转连接，采用通道连接方式，将第二尺度的最终融合特征跳转连接到DBC21的输入，将第一尺度的最终融合特征跳转连接到DCB11和DCB12的输入，将DCB10的输出跳转连接到DCB12的输入；通过横向密集跳转连接，所有中间层的深度特征都被用于特征重构，提高多尺度深度特征的重构能力；在解码子网络中，在所有尺度中建立纵向密集连接，采用上采样方式，将第四尺度的最终融合特征连接到DCB30的输入，第三尺度的最终融合特征连接到DCB20的输入，第二尺度的最终融合特征连接到DCB10的输入，将DCB30的输出连接到DCB21的输入，DCB20的输出连接到DCB11的输入，DCB21的输出连接到DCB12的输入，通过纵向密集上采样连接，所有尺度特征被用于特征重构，进一步提高多尺度深度特征的重构能力。4.如权利要求1所述的方法，其特征在于：编码器
‑
解码器网络的loss函数L
ED
，其为输入图像与输出图像之间的像素一致性和结构相似性，如公式(1)所示：L
ED
＝L
p
+βL
ssin
ꢀꢀꢀꢀ
(1)其中L
p
为像素一致性loss，L
ssin
为结构相似性loss；像素一致性lossL
p
如公式(2)所示：结构相似性lossL
ssin
如公式(3)所示：L
ssim
＝1
‑
ssim(O，I)
ꢀꢀꢀꢀꢀ
(3)其中，O为网络输出图像，I为输入图像。5.如权利要求1所述的方法，其特征在于，步骤2中所述使用熵、梯度和显著性对所述多模式特征进行度量包含以下步骤：
步骤2.1，计算所述编码器输出的特征的熵，比较各个尺度特征的熵值，熵最高的特征包含最多的内容与细节，将其归类为内容特征；步骤2.2，使用Sobel梯度算子计算所述编码器输入图像的梯度，将该梯度进行下采样后与各特征做差，并求均值，所得均值最小的特征包含更多的轮廓、边缘等结构性特征，将其归类为边缘结构性特征；步骤2.3，使用显著性提取算法计算所述编码器输入图像的显著性图，将该显著性图进行下采样后与各特征做差，并求均值，所得均值最小的特征对前景目标与背景有一定的区分，将其归类斑块特征。6.如权利要求1所述的方法，其特征在于：步骤2中所述多模式自适应loss函数包含内容loss，相关性loss和类显著性loss，如公式(4)所示：L
fea
＝L
con
+λL
corr
+ρL
sil
‑
l
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)其中，L
...

【专利技术属性】
技术研发人员：刘向增，高豪杰，苗启广，宋建锋，纪建，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：