基于聚焦损失函数约束的可见光和红外图像的融合方法技术

本申请公开了一种基于聚焦损失函数约束的可见光和红外图像的融合方法，利用卷积神经网络进行图像融合包括如下步骤：输入可见光图像和红外图像；利用自注意力机制对可见光图像和红外图像进行关键特征的聚合，并通过交叉注意力机制对提取的关键特征进行混合以得到潜在空间特征表示；将原始输入与潜在空间特征表示进行特征重建，进而得到富含纹理信息和热信息的融合图像

【技术实现步骤摘要】
基于聚焦损失函数约束的可见光和红外图像的融合方法


[0001]本申请涉及图像信息处理
，尤其是涉及一种基于聚焦损失函数约束的可见光和红外图像的融合方法
。

技术介绍

[0002]随着科技的发展，摄像技术的应用十分的广泛；例如监控摄像头和汽车的行车记录仪等
。
[0003]在传统的摄像视频源中，一般只提供单一模态图像（可见光图像或红外图像）
。
可见光图像虽然可以提供丰富的纹理和上下文信息，但在光照条件差时往往难以对画面中的物体进行准确识别
。
相比之下，红外图像可以捕捉物体发出的热辐射，但由于其分辨率一般较低，缺乏可见光通道所拥有的纹理信息
。
基于此，现有技术提供了图像融合技术，就是将多个领域的图像信息融合成一张图像的方法
。
[0004]目前基于深度学习算法的数据驱动型图像融合技术存在以下的一些缺陷问题：（1）缺乏突出显著区域（含有更多语义信息的区域）的能力，导致目标区域对比度低且细节上存在模糊现象，不利于增强下游检测任务的效果
。
...

【技术保护点】

【技术特征摘要】
1.
一种基于聚焦损失函数约束的可见光和红外图像的融合方法，其特征在于：利用卷积神经网络进行图像融合包括如下步骤：
S100
：输入可见光图像和红外图像；
S200
：利用自注意力机制对可见光图像和红外图像进行关键特征的聚合，并通过交叉注意力机制对提取的关键特征进行混合以得到潜在空间特征表示；
S300
：将步骤
S100
的输入与潜在空间特征表示进行特征重建，进而得到富含纹理信息和热信息的融合图像；步骤
S300
的特征重建包括如下过程：
S310
：对可见光图像和红外图像的原始特征进行混合，以得到原始混合输出；
S320
：将原始混合输出与交叉注意力机制的输出进行相乘；
S330
：将步骤
S320
的结果传递至图像重新工作层中进行特征重建，以得到所需的融合图像
。2.
如权利要求1所述的基于聚焦损失函数约束的可见光和红外图像的融合方法，其特征在于：步骤
S200
中利用自注意力机制进行关键特征聚合的过程如下：
S210
：将输入的可见光图像和红外图像均分割成多个小的图像块；
S220
：利用自注意力机制分别将可见光通道和红外通道对应的各图像块中的关键特征进行提取；
S230
：对可见光通道和红外通道分别叠加权重，以强调图像在不同通道所对应的特征信息
。3.
如权利要求2所述的基于聚焦损失函数约束的可见光和红外图像的融合方法，其特征在于：步骤
S230
中对可见光通道和红外通道进行叠加权重的步骤如下：
S231
：利用特征提取模块分别对步骤
S100
中输入的可见光图像和红外图像进行特征提取与聚合；
S232
：将步骤
S231
聚合的双通道特征与步骤
S220
提取的关键特征按照通道对应进行相乘
。4.
如权利要求1所述的基于聚焦损失函数约束的可见光和红外图像的融合方法，其特征在于：在步骤
S200
中利用交叉注意力机制进行关键特征混合的过程如下：
S240
：根据可见光通道和红外通道分别设置两个对应的交叉注意力模块和；

【专利技术属性】
技术研发人员：戴闻杰，张毅函，张茜，李汶锦，
申请(专利权)人：宁波诺丁汉大学，
类型：发明
国别省市：