【技术实现步骤摘要】
基于级联注意力机制和神经网络的图像融合方法及系统
[0001]本专利技术涉及图像融合领域，具体涉及多种源图像融合处理
技术介绍
[0002]图像融合旨在结合两种模态图像的优点，生成互补的融合结果。近年来，人们提出了许多红外与可见光图像融合的方法。然而，现有的方法主要针对红外和灰度可见光图像，灰度融合图像不能保持色度信息，不能满足不同应用的要求。更具体地说，色度信息是提高人类视觉系统感知能力的重要特征。随着传感器技术的发展，可见传感器不再局限于单通道或灰度空间。许多可见传感器都能捕捉到颜色空间中的图像，因为颜色可见传感器可以通过色度感知物体的差异，所以颜色空间中的图像比灰度可见光图像能提供更有意义的信息，具有更好的视觉效果。彩色可见光图像包含色度信息，可以提供比灰度可见光图像更多的背景信息和细节信息。
[0003]此外，彩色可见传感器通过捕捉反射光产生图像，可以帮助可见光图像保存丰富的色度信息。然而，当传感器处于强光、背光或弱照明条件下时，彩色可见传感器不能捕获目标信息。而红外传感器主要对物体发出的热辐射敏感...
【技术保护点】
【技术特征摘要】
1.基于级联注意力机制和神经网络的图像融合方法，其特征在于，所述方法包括：S1、将RGB空间中的彩色可见光图像传输至预置YCbCr空间，据以提取所述彩色可见光图像的彩色可见光亮度，获取并转换色度信息为Cb和Cr通道，以完成图像空间的转换；S2、采集获取红外图像，以预置级联注意机制来计算所述红外图像的红外有效注意图，所述步骤S2中的所述预置级联注意机制包括：S21、利用通道注意力特征强制模型，重新加权处理所述红外图像的特征，并计算初始注意力及初始注意力图，以关注关键特征，并滤除不相关特征，获取隐藏神经元的激活值，据以衡量神经元重要性，在所述Cb和Cr通道上进行最大值映射运算，以获取注意图；S22、利用预置全局注意模块进行高斯核卷积运算，以从所述注意图中捕获所述红外有效注意图，据以完善所述初始注意力图；S3、对于彩色可见光图像，利用预置级联注意模块的第一阶段处理，以捕获所述彩色可见光图像的彩色可见光图像注意力图；S4、利用预置红外特征提取模块提取红外深度特征，并利用在可见光图像特征提取模块，采用卷积运算提取图像局部细节特征。S5、处理红外有效注意图、彩色可见光图像注意力图、源图像的所述红外深度特征以及所述图像局部细节特征，据以获取融合亮度映射Y，以得到融合亮度图，将所述融合亮度图与Cb和Cr相结合，据以重建得到彩色融合结果YCbCr；S6、图像空间的转换：将所述彩色融合结果YCbCr传输至所述RGB空间中，以在RGB空间中显示融合后图像。2.根据权利要求1所述的基于级联注意力机制和神经网络的图像融合方法，其特征在于，所述步骤S1中，以下述逻辑转换所述色度信息为所述Cb和Cr通道：3.根据权利要求1所述的基于级联注意力机制和神经网络的图像融合方法，其特征在于，所述步骤S2中的所述预置级联注意机制为：Att＝g
max
(Conv
g
(g
max
(ω
i
*f
i
),k)),其中，g
max
表示空间信息的max选择策略，该策略可以帮助模型在注意映射操作中专注于判别空间位置；Conv
g
表示卷积操作，核为高斯核k，偏置为零；ω
i
表示第i个特征的权重f
i
。4.根据权利要求1所述的基于级联注意力机制和神经网络的图像融合方法，其特征在于，所述步骤S3中，利用预置级联注意模块的第一阶段捕获彩色可见光图像亮度的注意图。5.根据权利要求1所述的基于级联注意力机制和神经网络的图像融合方法，其特征在于，所述步骤S4包括：S41、在所述预置红外特征提取模块中，利用ResNet50提取所述红外深度特征；S42、在所述预置可见光图像特征提取模块中，采用卷积运算提取所述图像局部细节特征。6.根据权利要求1所述的基于级联注意力机制和神经网络的图像融合方法，其特征在
于，所述步骤S5包括：S51、根据所述融合亮度图获取融合亮度；S52、获取所述红外图像和所述彩色可见光图像的红外亮度及彩色亮度；S53、以预置强度损失逻辑处理所述融合亮度、所述红外亮度及所述彩色亮度，以得到强度损失；S54、提取所述红外图像、所述彩色可见光图像的注意力图，以预置注意力损失逻辑处理所述注意力图，以得到注意力损失；S55、处理所述强度损失及所述注意力损失，以得到全...
【专利技术属性】
技术研发人员：窦浩，伍政华，代泽洋，高乾坤，李静，王潇，
申请(专利权)人：中国电子科技集团公司第三十八研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。