红外可见光图像融合方法、装置、电子设备及存储介质制造方法及图纸

技术编号:41465266 阅读:15 留言:0更新日期:2024-05-30 14:21
本发明专利技术提供一种红外可见光图像融合方法、装置、电子设备及存储介质。该方法包括:基于经过训练的自编码器网络中的编码器对堆叠后的红外图像和可见光图像进行特征提取,得到红外图像和可见光图像的隐空间特征;其中,自编码器网络包括编码器和解码器;基于经过训练的扩散网络对隐空间特征进行加噪和去噪,得到红外图像和可见光图像的联合特征;基于经过训练的融合网络对隐空间特征和联合特征进行特征提取、拼接和重建,得到红外图像和可见光图像对应的融合图像。本发明专利技术能够实现高效率和高色彩保真度的图像融合。

【技术实现步骤摘要】

本专利技术涉及图像融合,尤其涉及一种红外可见光图像融合方法、装置、电子设备及存储介质


技术介绍

1、图像融合旨在将不同类型传感器获得的图像融合到一起,生成鲁棒或信息丰富的图像,实现对场景更加全面和清晰的描述。红外图像与可见光图像的融合是一种典型的图像融合任务,广泛应用于计算机视觉、遥感、医学成像和军事探测等领域。红外图像反映场景中热辐射信息,即使在光照条件不足或遮挡严重的情况下也能突出热目标信息,然而红外图像的分辨率和对比度都较低,无法充分表现纹理细节信息。相比之下可见光图像,具有丰富的纹理信息和饱满色彩。然而,可见光图像对天气条件的依赖性较大,在光照条件不足或雾霾条件下生成的图像质量总是较差且容易丢失重要的目标。融合图像能够同时保持红外图像中的热辐射信息和可见光图像中的纹理信息,起到属性互补的作用,在军用和民用应用中发挥着重要作用。

2、随着不同领域对于更全面图像信息的需求,大量的图像融合方法被提出以实现红外和可见光图像的有效融合。根据融合原理可以将融合算法分为两类:传统方法和基于深度学习的方法。传统方法使用固定的数学变换提取红外光和可见光本文档来自技高网...

【技术保护点】

1.一种红外可见光图像融合方法,其特征在于,包括:

2.根据权利要求1所述的红外可见光图像融合方法,其特征在于,所述自编码器网络中的编码器包括依次串联的第一卷积模块、第一残差模块、第一下采样模块、第二残差模块、第二下采样模块、第三残差模块、第一自注意力模块、第四残差模块、第一组归一化模块和第二卷积模块,所述自编码器网络中的解码器包括依次串联的第三卷积模块、第五残差模块、第二自注意力模块、第六残差模块、第一上采样模块、第七残差模块、第二上采样模块、第八残差模块、第二组归一化模块和第四卷积模块。

3.根据权利要求1所述的红外可见光图像融合方法,其特征在于,所述扩散网络...

【技术特征摘要】

1.一种红外可见光图像融合方法,其特征在于,包括:

2.根据权利要求1所述的红外可见光图像融合方法,其特征在于,所述自编码器网络中的编码器包括依次串联的第一卷积模块、第一残差模块、第一下采样模块、第二残差模块、第二下采样模块、第三残差模块、第一自注意力模块、第四残差模块、第一组归一化模块和第二卷积模块,所述自编码器网络中的解码器包括依次串联的第三卷积模块、第五残差模块、第二自注意力模块、第六残差模块、第一上采样模块、第七残差模块、第二上采样模块、第八残差模块、第二组归一化模块和第四卷积模块。

3.根据权利要求1所述的红外可见光图像融合方法,其特征在于,所述扩散网络包括加噪模块、噪声预测网络和去噪模块,所述噪声预测网络为unet网络;

4.根据权利要求1所述的红外可见光图像融合方法,其特征在于,所述融合网络包括第一特征提取模块、第二特征提取模块和解码器;

5.根据权利要求1所述的红外可见光图像融合方法,其特征在于,在所述基于经过训练的自编码器网络中...

【专利技术属性】
技术研发人员:袁天梦王海飞范琳琦林梦思孙沛栋赵加坤
申请(专利权)人:献县建投科技发展有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1