基于局部与全局信息交互的快速红外与可见光图像融合方法及电子设备和存储介质技术

技术编号:41659186 阅读:29 留言:0更新日期:2024-06-14 15:20
本发明专利技术公开了一种基于局部与全局信息交互的快速红外与可见光图像融合方法及电子设备和存储介质,首先,利用多通道卷积神经网络对输入图像进行显著特征和多尺度局部特征的提取。其次,引入基于自适应Transformer的全局互补特征提取模块对通道中图像的全局互补信息进行提取。然后,通过加权组合的方式对提取的多通道特征进行融合。最后通过重建网络对融合结果进行图像重构。为了保证融合图像中包含更多的语义信息,设计了语义对抗机制,提高融合结果的语义丰富度。本发明专利技术中提出的红外与可见光图像融合网络,在保证良好的融合性能前提下,具有计算消耗小、模型参数量较低的优点,具有实现资源受限的嵌入式设备部署的潜力。

【技术实现步骤摘要】

本专利技术属于图像融合,尤其涉及一种基于局部与全局信息交互的快速红外与可见光图像融合方法及电子设备和存储介质


技术介绍

1、图像融合是图像处理领域中一项重要的图像增强技术,通过整合不同模态中的互补信息而得到信息含量更加丰富的单张图像,为后续的高级视觉任务提供高质量的视觉数据。图像融合技术广泛地应用于行人检测、实时监控、目标识别等领域。红外图像与可见光图像融合作为图像融合领域中的重要分支,精准和快速的融合方法能够有效促进后续高级视觉任务的开展。由于普通相机依据光的反射原理成像,采集的可见光图像具有丰富的纹理细节和色度信息,此外具有较好的清晰度和分辨率,有利于人类视觉感知。但可见光图像的采集容易受到外界光照因素的影响,信息捕捉性能不够稳定。红外相机依据物体的热辐射成像,不同物体之间具有一定的温差,红外相机能够有效采集物体温差信息成像,具有不受光照因素的影响,能够实现全时段环境监控与信息采集的特点。然而,红外相机成像一般分辨率较低,图像纹理细节信息较为模糊。因此,通过融合红外与图像,能够有效综合两种模态的图像的优点,获得具有更高视觉质量的图像。

2本文档来自技高网...

【技术保护点】

1.一种基于局部与全局信息交互的快速红外与可见光图像融合方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于局部与全局信息交互的快速红外与可见光图像融合方法,其特征在于,步骤1中,将经过配准的红外与可见光图像按灰度通道级联输入到卷积层进行特征提取,具体包括:

3.根据权利要求1所述的基于局部与全局信息交互的快速红外与可见光图像融合方法,其特征在于,步骤2中,所述的基于卷积神经网络的多通道特征提取网络包括并行的显著特征提取通道和多尺度局部信息提取通道;

4.根据权利要求1所述的基于局部与全局信息交互的快速红外与可见光图像融合方法,其特征在于,步...

【技术特征摘要】

1.一种基于局部与全局信息交互的快速红外与可见光图像融合方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于局部与全局信息交互的快速红外与可见光图像融合方法,其特征在于,步骤1中,将经过配准的红外与可见光图像按灰度通道级联输入到卷积层进行特征提取,具体包括:

3.根据权利要求1所述的基于局部与全局信息交互的快速红外与可见光图像融合方法,其特征在于,步骤2中,所述的基于卷积神经网络的多通道特征提取网络包括并行的显著特征提取通道和多尺度局部信息提取通道;

4.根据权利要求1所述的基于局部与全局信息交互的快速红外与可见光图像融合方法,其特征在于,步骤2中,多尺度局部特征提取包括显著性特征提取、多尺度特征提取。

5.根据权利要求4所述的基于局部与全局信息交互的快速红外与可见光图像融合方法,其特征在于,步骤2中,显著性特征提取,具体包括:

6.根据权利要求1所述的基于局部与全局信息交互的快速红外与可见光图像融合方法,其特征在于,步骤3中,对于步骤2中所提取的局部特征图中的局部语义信息,利用基于自适应tansformer的全局特...

【专利技术属性】
技术研发人员:陈博曾祥志吕骏晖胡明南刘炯仇翔王浙明
申请(专利权)人:浙江工业大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1