一种基于深度学习的端到端多模态图像融合框架制造技术

本发明专利技术属于图像处理领域，公开了一种基于深度学习的端到端多模态图像融合框架，用于解决针对复杂背景下跨模态图像融合结果存在模糊及特征提取能力不足的问题，本发明专利技术的融合方法基于卷积神经网络，核心在于利用特征编码模块和双分支嵌入的梯度滤波器来更好地捕获相关特征，再利自适应感知融合模块选择性地结合从红外和可见光偏振图像中提取的优势特征，实现互补融合。此外，设计了显著性加权像素级和梯度损失来指导对原始数据的图像特征进行提取和融合。最后，在特征解码模块通道维上对融合特征进行拼接和重构出融合图像。本发明专利技术能够有效实现复杂多模态图像的融合，具有特征提取效果好，融合图像视觉效果高、对比度高等特点。对比度高等特点。对比度高等特点。

【技术实现步骤摘要】
一种基于深度学习的端到端多模态图像融合框架

：
[0001]本专利技术涉及中波红外光图像和偏振光可见图像融合技术，具体涉及一种基于深度学习的端到端多模态图像融合框架。

技术介绍
：
[0002]图像融合实质上就是融合多个传感器所获取不同模态图像的有效信息，即融合不同光谱图像中各自突出的优点部分以弥补其缺陷。深度学习虽然是计算机视觉领域的主要方法之一，但是其在多模态图像融合的落地应用上仍然存在不确定性。以往多模态图像融合多定义为深度学习中无监督学习,这种学习方式缺乏真实标签引导。具体来说，大多数深度学习融合方法采用源图像为训练标签并在网络训练时通过降低源图像和融合图像之间的误差使融合图像能够保留较多特征，但是有时最终融合结果仍然具有不确定性。尤其是网络迭代训练时，融合后的图像通常会更加趋向于学习并仅保留某一光源的图像特征，有时甚至会丢失其他光源的图像特征；其次，为对多模态数据集实现高性能融合，还额外引入过多参数，导致网络的复杂性相应提高，最终使得训练网络仅在低算力显卡来完成端到端训练的难度极大的增加。
[0003]此外，大多数基于深度学习的多本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的端到端多模态图像融合框架，包括以下步骤：(S1)、利用不同成像模式的相机拍摄200对双模态图像构成待配准的双模态图像集G，经配准后的图像集为H和两种模态图像分别记为I1、I2；(S2)、将双模态图像I1、I2作为网络输入，经过特征编码器子网络来捕获到相关特征和(S3)、将特征编码器的中间特征和进行通道特征相加获得融合特征(S4)、将融合特征经过自适应感知融合模块，对特征和的信息占比进行权重调整，获得新的特征和(S5)，将获得特征和直接特征相加，获得特征F
add
，并将特征F
add
作为下一个的特征编码模块的输入，在最后一个特征编码模块中获得融合特征(S6)、将融合特征输入特征解码器子网络以重建出融合图像F；(S7)、将上述各个模块建成一个基于深度学习的端到端多模态图像融合框架中并计算输出的融合图像F与输入的多模态图像I1和I2之间的损失函数Loss值，通过对减低Loss值进行反向传播来训练多模态图像融合框架；(S8)、将待融合的双模态图像集H放入训练好的多模态图像融合框架中，测试得到融合图像F。2.根据权利要求1所述的基于深度学习的端到端多模态图像融合框架，其特征在于，在步骤(S1)中，所述双模态图像包括但不限于可见光图像、不同波段红外图像、红外偏振图像、可见偏振图像等。3.根据权利要求1所述的基于深度学习的端到端多模态图像融合框架，其特征在于，在步骤(S2)中，所述的特征编码器子网络由6个特征编码模块(PEC)串联而成，其中PEC模块由卷积核大小分别为1
×
1和3
×
3的卷积层，卷积核大小为3
×
3的Prewitt算子以及非线性激活函数LReLU跳跃连接组成，用于提取多模态图像特征。4.根据权利...

【专利技术属性】
技术研发人员：邸江磊，劳俞凯，豆嘉真，钟丽云，张欢，秦玉文，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：