一种红外与可见光图像融合方法、系统及介质技术方案

本发明专利技术公开了一种红外与可见光图像融合方法、系统及介质，本发明专利技术包括分别将红外图像I

【技术实现步骤摘要】
一种红外与可见光图像融合方法、系统及介质


[0001]本专利技术涉及红外与可见光图像融合技术，具体涉及一种红外与可见光图像融合方法、系统及介质。

技术介绍

[0002]红外与可见光图像融合旨在将红外图像与可见光图像整合成一张信息丰富的更高、可视化效果更强的图像，生成的图像可为后续的处理与决策提供有效的帮助。在进行可见光与红外融合任务时通常关注红外图像的目标与背景的差异性以及可见光的纹理信息，以及融合图像是否符合人类视觉感知。其在目标跟踪、目标检测、场景分析等领域中都展现出独有的优势。红外与可见光图像融合方式一般包括多尺度变换、稀疏表示、基于子空间、基于显著性等传统方式和基于神经网络的端到端的深度学习方式，其中神经网络方式主要划分为GAN网络、孪生网络、自编码网络等。传统的融合方式往往仅适用于单一任务的融合，局限性较强，且规则设计较为复杂。而采用神经网络的融合方式一般缺少通用的groundtruth或是reference metric，融合时各个特征的权重确定是个极大的难题，有的网络采用传统的图像处理方式提取权重辅助神经网络进行图像融合，有的采用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种红外与可见光图像融合方法，其特征在于，包括：1）分别将红外图像I
a
与可见光图像I
b
分别输入预先训练好的深度特征提取网络D提取多种尺度的图像特征，再将最小尺度的特征输入至掩码上采样网络Umask提取多种尺度的图像掩码，分别得到多种尺度的红外图像掩码特征图和可见光图像掩码特征图；分别将红外图像I
a
与可见光图像I
b
通过深度特征提取网络D提取得到的多种尺度的图像特征经过特征上采样网络Uorin重建图像，分别得到多种尺度的红外图像重建特征图和可见光图像重建特征图；将多种尺度的红外图像掩码特征图和可见光图像掩码特征图、红外图像重建特征图以及可见光图像重建特征图融合得到多种尺度的融合层；2）分别将红外图像I
a
与可见光图像I
b
输入预先训练好的深度特征提取网络D，得到对应的红外上采样特征图D
a
与可见光上采样特征图D
b
；将红外上采样特征图D
a
与可见光上采样特征图D
b
拼接得到融合图像，再将融合图像输入特征上采样网络Uorin分别与多种尺度的融合层进行融合，从而得到最终的融合图像。2.根据权利要求1所述的红外与可见光图像融合方法，其特征在于，步骤1）中将多种尺度的红外图像掩码特征图和可见光图像掩码特征图、红外图像重建特征图以及可见光图像重建特征图融合得到多种尺度的融合层包括：针对多种尺度下的每一种尺度i，将尺度i下的红外图像掩码特征图作为红外图像重建特征图的权重，可见光图像掩码特征图作为可见光图像重建特征图的权重，将红外图像重建特征图、可见光图像重建特征图两者加权求和，得到尺度i下的融合层。3.根据权利要求2所述的红外与可见光图像融合方法，其特征在于，所述将红外图像重建特征图、可见光图像重建特征图两者加权求和的函数表达式为：Fusion_layer
i
= weight
‑
Umask
a,i
×
layer
‑
D
a
,
i
+ weight
‑
Umask
b,i
×
layer
‑
D
b,i
，（1）上式中，Fusion_layer
i
为第i种尺度下的融合层输出的特征图，weight
‑
Umask
a,i
为第i种尺度下的红外图像掩码特征图，weight
‑
Umask
b,i
为第i种尺度下的可见光图像掩码特征图，D
a
,
i
为第i种尺度下的红外图像重建特征图，D
b,i
为第i种尺度下的可见光图像重建特征图。4.根据权利要求3所述的红外与可见光图像融合方法，其特征在于，所述掩码上采样网络Umask包括四级相同的卷积结构，每个卷积结构与其上级卷积结构之间使用2
×
2的上卷积层相连，且每一个卷积结构都重复应用两个3
×
3卷积层进行特征提取，并将提取出的特征作为下一级卷积结构的输入，每个卷积结构通过跳过连接并入...

【专利技术属性】
技术研发人员：李树涛，刘锦洋，佃仁伟，韦晓辉，刘海波，
申请(专利权)人：湖南大学，
类型：发明
国别省市：