基于信息瓶颈的多模态图像融合方法、系统、设备和介质技术方案

本发明专利技术属于图像融合领域，提供了一种基于信息瓶颈的多模态图像融合方法、系统、设备和介质。其中，该融合方法包括获取红外与可见光多模态图像；预处理每对红外与可见光多模态图像；提取预处理后的每对红外与可见光多模态图像的特征；利用信息瓶颈层对每对红外与可见光多模态图像的特征进行筛选；融合筛选的红外与可见光多模态图像特征，得到融合特征图；对融合特征图进行重建，得到融合图像。

【技术实现步骤摘要】
基于信息瓶颈的多模态图像融合方法、系统、设备和介质
本专利技术属于图像融合领域，尤其涉及一种基于信息瓶颈的多模态图像融合方法、系统、设备和介质。
技术介绍
本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。图像融合本质上是一种增强技术，它将来自不同传感器的不同类型的数据进行融合，生成一幅包含丰富信息或更有利于后续应用的图像。同一类型传感器获得的信息十分有限，需要对来自不同传感器的信息进行融合。融合技术在视频监控、现代军事、医学病理研究等方面发挥重要的作用。红外与可见光图像融合是图像融合技术中一个重要组成部分，可见光图像由捕获反射光的可见光传感器产生。它具有丰富的纹理细节信息，符合人眼观察规律。而红外传感器可以感知红外波段，将热辐射信息转换成灰度图像。红外图像具有强烈的对比度，即使在夜间和恶劣天气下也能有效地区分背景和目标。红外与可见光图像融合将这两种特征结合起来，生成对比度显著、纹理细节丰富的图像，在军事监视、目标检测、车辆夜间导航等领域具有良好的应用前景。图像融合的关键是提取或重建有用的信息。研究人员提出了许多图像融合的方法。虽然现有的方法在多数情况下取得了较好的结果，但是专利技术人发现，也会存在一些消极因素。第一，在大多数传统方法中，图像变换和融合规则都需人工设计，这可能会限制其在某些任务中的应用。第二，由于源图像的多样性，计算量、实现难度诸多因素的限制，传统方法提出一个考虑融合任务理想的设计方法是相当困难的。第三，虽然深度学习在特征提取和数据表示方面表现出强大的能力，在图像融合任务中避免了传统手工设计的复杂性，但是在特征提取部分并不清楚是有用的信息还是冗余信息，尚无全面的理论理解可以充分解释。第四，现有的深度学习的方法很难在多模态的信息中达到平衡。综上所述，在基于深度学习的多模态图像融合问题中，综合利用其可用特征信息进行融合尚缺乏行之有效的解决方案。
技术实现思路
为了解决上述
技术介绍
中存在的技术问题，本专利技术提供一种基于信息瓶颈的多模态图像融合方法、系统、设备和介质，其获得的融合图像更符合人的视觉感知，并能包含更多的细节和背景信息，有助于在目标检测、识别等方面的应用。为了实现上述目的，本专利技术采用如下技术方案：本专利技术的第一个方面提供一种基于信息瓶颈的多模态图像融合方法。一种基于信息瓶颈的多模态图像融合方法，其包括：获取红外与可见光多模态图像；预处理每对红外与可见光多模态图像；提取预处理后的每对红外与可见光多模态图像的特征；利用信息瓶颈层对每对红外与可见光多模态图像的特征进行筛选；融合筛选的红外与可见光多模态图像特征，得到融合特征图；对融合特征图进行重建，得到融合图像。本专利技术的第二个方面提供一种基于信息瓶颈的多模态图像融合系统。一种基于信息瓶颈的多模态图像融合系统，其包括：数据获取模块，其被配置为：获取红外与可见光多模态图像；数据预处理模块，其被配置为：预处理每对红外与可见光多模态图像；特征提取模块，其被配置为：提取预处理后的每对红外与可见光多模态图像的特征；特征筛选模块，其被配置为：利用信息瓶颈层对每对红外与可见光多模态图像的特征进行筛选；特征融合模块，其被配置为：融合筛选的红外与可见光多模态图像特征，得到融合特征图；特征重建模块，其被配置为：对融合特征图进行重建，得到融合图像。本专利技术的第三个方面提供一种计算机可读存储介质。一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于信息瓶颈的多模态图像融合方法中的步骤。本专利技术的第四个方面提供一种计算机设备。一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于信息瓶颈的多模态图像融合方法中的步骤。与现有技术相比，本专利技术的有益效果是：本专利技术首先进行图像融合领域调研，获取多模态图像，选用红外与可见光多模态图像，对采集到的多模态红外与可见光图像进行预处理，然后对深度学习图像融合网络进行改进，输入两种模态的红外与可见光图像，利用特征提取网络对两个模态的图像进行特征提取，对特征提取后的每对红外与可见光多模态图像通过信息瓶颈层进行特征筛选，然后将筛选后的特征图输入融合网络使用指定的融合规则进行融合，最后通过重建网络对融合后的特征图进行重建，通过这种方式，实现了端到端进行多模态图像融合，避免了传统融合方法的人工设计的困难，并且通过信息瓶颈原理可以获得两种不同模态互补信息有用的信息，限制输入信息流，增强图像融合的精度，为后续任务提供更有用精确的信息。本专利技术附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。图1是本专利技术实施例的基于信息瓶颈的多模态图像融合方法网络框架图；图2(a)是本专利技术实施例的红外图像；图2(b)是本专利技术实施例的可见光图像；图3是本专利技术实施例的基于信息瓶颈的多模态图像融合方法流程图。具体实施方式下面结合附图与实施例对本专利技术作进一步说明。应该指出，以下详细说明都是例示性的，旨在对本专利技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本专利技术所属
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本专利技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。实施例一如图1所示，本实施例的一种基于信息瓶颈的多模态图像融合方法，其包括：步骤S101：获取红外与可见光多模态图像。红外图像由红外传感器捕获，用于记录来自不同物体的热辐射。红外传感器能在室外光线照射不足、烟雾的遮挡等恶劣的环境下快速完成成像。可见光图像由捕获反射光的可见光传感器产生，呈现的是人眼对于场景的直接观察的结果，具有比较高的分辨率和丰富的纹理细节，符合人眼观察的规律。红外与可见光多模态图像可以预先存储在计算机设备的存储器中，当需要对其进行处理时，处理器直接从计算机设备的存储器中读取图像。当然，处理器也可以从外部设备中获取图像。比如，将待检测对象的红外与可见光多模态图像存储在云端，当需要进行处理操作时，处理器从云端获取待检测对象的图像。本实施例对处理器获取红外与可见光多模态图像的具体方式不做限定。具体的，如图2(a)为红外图像，图2(b)为可见光图像，包含了不同场景的无光谱(强化视觉、近红外和长波红外或热)夜间图像，用来记录这些图像的不同相机系本文档来自技高网...

【技术保护点】
1.一种基于信息瓶颈的多模态图像融合方法，其特征在于，包括：/n获取红外与可见光多模态图像；/n预处理每对红外与可见光多模态图像；/n提取预处理后的每对红外与可见光多模态图像的特征；/n利用信息瓶颈层对每对红外与可见光多模态图像的特征进行筛选；/n融合筛选的红外与可见光多模态图像特征，得到融合特征图；/n对融合特征图进行重建，得到融合图像。/n

【技术特征摘要】
1.一种基于信息瓶颈的多模态图像融合方法，其特征在于，包括：
获取红外与可见光多模态图像；
预处理每对红外与可见光多模态图像；
提取预处理后的每对红外与可见光多模态图像的特征；
利用信息瓶颈层对每对红外与可见光多模态图像的特征进行筛选；
融合筛选的红外与可见光多模态图像特征，得到融合特征图；
对融合特征图进行重建，得到融合图像。


2.如权利要求1所述的基于信息瓶颈的多模态图像融合方法，其特征在于，预处理每对红外与可见光多模态图像的操作包括：图像增强操作和图像归一化操作。


3.如权利要求1所述的基于信息瓶颈的多模态图像融合方法，其特征在于，采用由卷积层和密集块构成的特征提取网络来提取预处理后的每对红外与可见光多模态图像的特征。


4.如权利要求1所述的基于信息瓶颈的多模态图像融合方法，其特征在于，利用信息瓶颈原理筛选的红外与可见光多模态图像特征，得到融合特征图。


5.如权利要求1所述的基于信息瓶颈的多模态图像融合方法，其特征在于，把特征提取网络和信息瓶颈层限制的特征图通过设定融合原则融合起来，得到最后的融合图像。


6.如权利要求1所述的基于信息瓶颈的多模态图像融合方法，其特征在于，利用特征融合网络...

【专利技术属性】
技术研发人员：徐卫志，徐晨曦，郑元杰，宋景琦，王军霞，姜岩芸，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：山东;37