全局-局部域适应的红外与可见图像融合方法技术

技术编号:43827863 阅读:29 留言:0更新日期:2024-12-31 18:28
本发明专利技术涉及一种全局‑局部域适应的红外与可见图像融合方法,属于图像信息处理技术领域。包括全局特征自适应训练阶段、局部特征自适应训练阶段。本发明专利技术将具有域差异的中间特征转移到共享域以实现特征自适应,然后利用自适应特征解码获得包含更多信息的融合结果,使用一个特征提取网络和一个融合图像重构网络,设计相应的特征转移模块和全局‑局部域适应约束,免去了直接融合时特征域差异导致的细节丢失和现有域适应方法人为划分信息不准缺及对抗方法存在虚假细节的问题,使得红外与可见图像融合网络融合性能提升。

【技术实现步骤摘要】

本专利技术涉及一种全局-局部域适应的红外与可见图像融合方法,属于图像信息处理。


技术介绍

1、目前,与本专利技术相关的技术包括两方面:第一是红外与可见图像融合方法;第二是跨模态图像的域适应。

2、基于深度学习的红外与可见图像融合方法算法主要分为三类:第一类基于损失函数设计的方法通过约束融合结果中的细节、边缘、结构或内容来保留更多的信息。zhao等人在文献《didfuse:deep image decomposition for infrared and visible imagefusion》中提出了一种相似性损失函数使源图像的背景相似而细节特征图不相似实现对红外与可见图像的融合。zhao等人在文献《cddfuse:correlation-driven dual-branchfeature decompositionfor multi-modality image fusion》中设计了一种新的相关驱动的损失使低频特征相关而高频特征不相关从而突出显示详细纹理细节。第二类基于结构设计的方法侧重于挖掘多层次的语义信息或跨模态的互补信息来改进融合性能本文档来自技高网...

【技术保护点】

1.全局-局部域适应的红外与可见图像融合方法,其特征在于包括以下步骤:

2.按照权利要求1所述的全局-局部域适应的红外与可见图像融合方法,其特征在于步骤1)中所述特征编码器包括四个残差块,每个残差块由两个内核大小为3x3卷积层组成,在每个残差块之间,有一个步幅为2最大池化层,并应用校正的线性单位函数。

3.按照权利要求2所述的全局-局部域适应的红外与可见图像融合方法,其特征在于步骤1)中所述特征转移过程中为了实现域自适应,设计了一个全局域判别器DG来实现全局域空间自适应;全局域判别器由全连接层组成,输入特征并输出域判别结果;使用以下损失来训练全局域判别器DG:...

【技术特征摘要】

1.全局-局部域适应的红外与可见图像融合方法,其特征在于包括以下步骤:

2.按照权利要求1所述的全局-局部域适应的红外与可见图像融合方法,其特征在于步骤1)中所述特征编码器包括四个残差块,每个残差块由两个内核大小为3x3卷积层组成,在每个残差块之间,有一个步幅为2最大池化层,并应用校正的线性单位函数。

3.按照权利要求2所述的全局-局部域适应的红外与可见图像融合方法,其特征在于步骤1)...

【专利技术属性】
技术研发人员:孙美美王文波赵文达王海鹏潘新龙刘颢夏学知王昉
申请(专利权)人:中国人民解放军海军航空大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1