【技术实现步骤摘要】
本专利技术涉及图像处理与计算机视觉,尤其是一种基于光照适应和注意力引导的红外与可见光图像融合方法。
技术介绍
1、图像融合的目的是通过结合源图像中的重要内容生成信息更加丰富的融合图像,从而弥补单一模态的图像无法完整地表征复杂场景中的所有信息的缺陷。红外与可见光图像融合这一子分支旨在实现多模态图像信息的互补与增强。
2、红外图像和可见光图像由于具有不同的物理特性和成像机制,在同一场景下所保留的内容存在显著差异。可见光图像能够提供目标形态等视觉细节信息,在正常光照条件下能够生动地描绘物体。然而,可见光图像容易受到极端天气等因素的影响,导致关键信息的丢失。在光照强度低或烟雾遮挡等情况下,图像提供的信息的可靠性较低。相比之下,红外图像能有效抵抗极端条件的干扰,捕捉目标的热辐射,在抗干扰和夜间成像方面具有优势。
3、传统方法下红外与可见光图像融合方法是有效的,但需要大量的人工规则设定,且获得的图像质量一般,无法适应多种场景使用。当前深度学习的图像融合算法有效弥补了传统方法存在的缺陷,具有强大的特征提取能力,适用于多种场景下
...【技术保护点】
1.一种基于光照适应和注意力引导的红外与可见光图像融合方法,其特征在于包括以下步骤:
2.根据权利要求1所述的基于光照适应和注意力引导的红外与可见光图像融合方法,其特征在于:步骤S1中目标图像数据集由含有可见光RGB色彩图像的M3FD数据集、RoadScene数据集和MSRS数据集组成;部分M3FD数据集作为模网络模型的训练集使用,RoadScene数据集、MSRS数据集和其余部分的M3FD数据集用于测试模型生成的融合图像性能。
3.根据权利要求1所述的基于光照适应和注意力引导的红外与可见光图像融合方法,其特征在于:步骤S2中,划分可见光图像包
...【技术特征摘要】
1.一种基于光照适应和注意力引导的红外与可见光图像融合方法,其特征在于包括以下步骤:
2.根据权利要求1所述的基于光照适应和注意力引导的红外与可见光图像融合方法,其特征在于:步骤s1中目标图像数据集由含有可见光rgb色彩图像的m3fd数据集、roadscene数据集和msrs数据集组成;部分m3fd数据集作为模网络模型的训练集使用,roadscene数据集、msrs数据集和其余部分的m3fd数据集用于测试模型生成的融合图像性能。
3.根据权利要求1所述的基于光照适应和注意力引导的红外与可见光图像融合方法,其特征在于:步骤s2中,划分可见光图像包括以下步骤,
4.根据权利要求1所述的基于光照适应和注意力引导的红外与可见光图像融合方法,其特征在于:步骤s3中,光环境适应网络由三个带有注意力机制的卷积块、一个平均池化层和一个全连接层组成;每个卷积块中包含一次二维卷积,一次批量归一化处理,两个注意力引导模块和一个最大池化层。
5.根据权利要求4所述的基于光照适应和注意力引导的红外与可见光图像融合方法,其特征在于:光环境适应权重的计算方法为,
6.根据权利要求1所述的基于光照...
【专利技术属性】
技术研发人员:陶阳,顾铭冲,张家铬,侍洪波,宋冰,谭帅,陈敏,
申请(专利权)人:华东理工大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。