基于光照适应和注意力引导的红外与可见光图像融合方法技术

技术编号:43285934 阅读:33 留言:0更新日期:2024-11-12 16:07
本发明专利技术公开了一种基于光照适应和注意力引导的红外与可见光图像融合方法,包括以下步骤:S1、获取目标图像的可见光图像以及相对应的红外图像;S2、对可见光图像与红外图像做分割处理,通过设定亮度阈值划分可见光图像;S3、将划分后的可见光图像送入光环境适应网络,训练获取光环境适应权重;S4、对分割后的可见光图像与红外图像一一对应的送入特征提取网络,提取可见光图像与红外图像的高频共同特征与独有特征,对可见光图像与红外图像进行特征信息的互补;S5、将可见光图像与红外图像最终特征送入到特征重构网络生成最终的融合图像。本发明专利技术能够改进现有技术的不足,提高了红外可见光融合图像的清晰度和视觉效果。

【技术实现步骤摘要】

本专利技术涉及图像处理与计算机视觉,尤其是一种基于光照适应和注意力引导的红外与可见光图像融合方法


技术介绍

1、图像融合的目的是通过结合源图像中的重要内容生成信息更加丰富的融合图像,从而弥补单一模态的图像无法完整地表征复杂场景中的所有信息的缺陷。红外与可见光图像融合这一子分支旨在实现多模态图像信息的互补与增强。

2、红外图像和可见光图像由于具有不同的物理特性和成像机制,在同一场景下所保留的内容存在显著差异。可见光图像能够提供目标形态等视觉细节信息,在正常光照条件下能够生动地描绘物体。然而,可见光图像容易受到极端天气等因素的影响,导致关键信息的丢失。在光照强度低或烟雾遮挡等情况下,图像提供的信息的可靠性较低。相比之下,红外图像能有效抵抗极端条件的干扰,捕捉目标的热辐射,在抗干扰和夜间成像方面具有优势。

3、传统方法下红外与可见光图像融合方法是有效的,但需要大量的人工规则设定,且获得的图像质量一般,无法适应多种场景使用。当前深度学习的图像融合算法有效弥补了传统方法存在的缺陷,具有强大的特征提取能力,适用于多种场景下的图像。但当前深度学本文档来自技高网...

【技术保护点】

1.一种基于光照适应和注意力引导的红外与可见光图像融合方法,其特征在于包括以下步骤:

2.根据权利要求1所述的基于光照适应和注意力引导的红外与可见光图像融合方法,其特征在于:步骤S1中目标图像数据集由含有可见光RGB色彩图像的M3FD数据集、RoadScene数据集和MSRS数据集组成;部分M3FD数据集作为模网络模型的训练集使用,RoadScene数据集、MSRS数据集和其余部分的M3FD数据集用于测试模型生成的融合图像性能。

3.根据权利要求1所述的基于光照适应和注意力引导的红外与可见光图像融合方法,其特征在于:步骤S2中,划分可见光图像包括以下步骤,

...

【技术特征摘要】

1.一种基于光照适应和注意力引导的红外与可见光图像融合方法,其特征在于包括以下步骤:

2.根据权利要求1所述的基于光照适应和注意力引导的红外与可见光图像融合方法,其特征在于:步骤s1中目标图像数据集由含有可见光rgb色彩图像的m3fd数据集、roadscene数据集和msrs数据集组成;部分m3fd数据集作为模网络模型的训练集使用,roadscene数据集、msrs数据集和其余部分的m3fd数据集用于测试模型生成的融合图像性能。

3.根据权利要求1所述的基于光照适应和注意力引导的红外与可见光图像融合方法,其特征在于:步骤s2中,划分可见光图像包括以下步骤,

4.根据权利要求1所述的基于光照适应和注意力引导的红外与可见光图像融合方法,其特征在于:步骤s3中,光环境适应网络由三个带有注意力机制的卷积块、一个平均池化层和一个全连接层组成;每个卷积块中包含一次二维卷积,一次批量归一化处理,两个注意力引导模块和一个最大池化层。

5.根据权利要求4所述的基于光照适应和注意力引导的红外与可见光图像融合方法,其特征在于:光环境适应权重的计算方法为,

6.根据权利要求1所述的基于光照...

【专利技术属性】
技术研发人员:陶阳顾铭冲张家铬侍洪波宋冰谭帅陈敏
申请(专利权)人:华东理工大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1