一种基于多模态特征差异的红外与可见光图像融合系统技术方案

本发明专利技术提供了一种基于多模态特征差异的红外与可见光图像融合系统。该系统实现提高红外与可见光图像融合的质量与清晰度，首先，通过特征提取模块提取多层次、多尺度的特征；接着，经过TAFEM模块对特征进行增强，在特征融合模块中，通过DIIM和CMIFM的注意力融合方式，进行两种模态图像之间的相同成分和差异成分的融合，最后，图像重建模块对融合特征进行精炼与上采样，生成高质量的融合图像。本发明专利技术通过创新性的采用纹理信息和多尺度特征并行提取的方式，提高了模型的特征提取质量，还提出了TAFEM模块，减少了特征提取阶段的信息丢失，并且在传统的DIIM模块和ACIIM模块的基础上改进得到CMIFM模块，弥补了传统交叉注意力机制对提取共同信息的不足。

【技术实现步骤摘要】

本专利技术涉及红外与可见光图像融合领域，具体是一种基于多模态特征差异的红外与可见光图像融合系统。

技术介绍

1、红外与可见光图像融合技术旨在将红外图像和可见光图像的信息进行有效结合，生成一幅包含两者优点的新图像，红外图像能够捕捉热源信息，适用于低光照或夜间环境，而可见光图像则提供丰富的环境细节，适用于白天或光线充足的场景，通过融合这两种图像，可以实现对隐蔽目标的探测和导航，提高系统的安全性和作战能力。

2、近年来，随着深度学习技术的快速发展，基于多模态特征差异的红外与可见光图像融合系统逐渐成为研究热点，这些方法利用深度神经网络的强大特征提取和表示能力，能够自动学习图像中的复杂特征，实现高质量的图像融合。

3、此外，红外与可见光图像融合技术在多个领域具有广泛的应用前景，在智能监控中，融合技术可以在复杂环境下提供更清晰的图像，提升监控系统的可靠性，在医学图像分析中，融合技术有助于提高诊断的准确性，在自动驾驶中，融合技术可以增强车辆对周围环境的感知能力，提升行驶安全性，然而，现有的融合方法仍面临一些挑战，如何保留源图像中的信息，减少信息丢本文档来自技高网...

【技术保护点】

1.一种基于多模态特征差异的红外与可见光图像融合系统，其特征在于，该系统包括：

2.根据权利要求1所述的一种基于多模态特征差异的红外与可见光图像融合系统，其特征在于，

3.根据权利要求2所述的一种基于多模态特征差异的红外与可见光图像融合系统，其特征在于，所述多尺度卷积特征融合单元为，采用不同尺度的卷积核，分别提取图像的不同尺度特征，

4.根据权利要求1所述的一种基于多模态特征差异的红外与可见光图像融合系统，其特征在于，

5.根据权利要求1所述的一种基于多模态特征差异的红外与可见光图像融合系统，其特征在于，所述特征融合模块具体实现步骤为：...

【技术特征摘要】

1.一种基于多模态特征差异的红外与可见光图像融合系统，其特征在于，该系统包括：

2.根据权利要求1所述的一种基于多模态特征差异的红外与可见光图像融合系统，其特征在于，

3.根据权利要求2所述的一种基于多模态特征差异的红外与可见光图像融合系统，其特征在于，所述多尺度卷积特征融合单元为，采用不同尺度的卷积核，分别提取图像的不同尺度特征，

4.根据权利...

【专利技术属性】
技术研发人员：杨军，徐慕晨，郭浩文，宋玥鑫，舒时敏，
申请(专利权)人：中国矿业大学北京，
类型：发明
国别省市：