基于Haar小波变换的可见光与红外图像深度融合自编码器网络模型制造技术

本发明专利技术涉及一种基于Haar小波变换的可见光与红外图像深度融合自编码器网络模型，属于多模态图像融合技术领域。本发明专利技术的模型包括图像特征提取模块、图像特征融合模块以及图像重构模块；图像特征提取模块包括浅层共享特征提取、粗粒度特征提取和细粒度特征优化；图像特征融合模块利用Haar小波逆操作融合高频、低频特征；图像重构模块利用Decoder模块进行图像重建。本发明专利技术的自编码器网络模型具有良好的表现，尤其在融合后图像中保留的红外图片和可见光图片的高频低频特征丰富、融合的较快，这为下游的视觉任务如目标检测、目标跟踪、目标分割等的准确度提升提供了帮助。

【技术实现步骤摘要】

本专利技术属于多模态图像融合，具体涉及一种基于haar小波变换的可见光与红外图像深度融合自编码器网络模型。

技术介绍

1、可见光与红外图像融合(vif)由于能够从同一角度提供互补信息，一直是多模态图像融合领域的关键研究方向。融合图像同时捕获反射光和热辐射，从而更全面地表示视场内物体的固有特征。这种融合技术不仅提高了图像细节和纹理的清晰度，而且有效地减轻了光照不足和环境噪声等不利影响，从而显著提高了目标跟踪、目标检测和遥感等下游任务的性能。基于深度学习的可见光和红外图像融合(vif)模型可以根据实际标签(groundtruth)的使用情况分为有监督和无监督方法。由于vif中真实图像的稀缺性，大多数基于深度学习的vif方法都属于无监督类别。因此，研究人员广泛关注通过探索各种损失函数来设计vif模型。在监督学习过程中，可以通过其他融合图像方法、不同图像融合任务的合成实际标签，或下游任务作为参考来生成实际标签。相反，大多数无监督方法采用迁移学习，利用预训练模型从大规模数据中提取特征。根据采用的模型类型，这些方法可以分为基于卷积神经网络(cnn)的方法、基于自编码器本文档来自技高网...

【技术保护点】

1.一种基于Haar小波变换的可见光与红外图像深度融合自编码器网络模型，包括依次连接的图像特征提取模块、图像特征融合模块以及图像重构模块；其特征在于，

2.根据权利要求1所述的基于Haar小波变换的可见光与红外图像深度融合自编码器网络模型，其特征在于，所述浅层共享特征提取过程公式表示如下：

3.根据权利要求1所述的基于Haar小波变换的可见光与红外图像深度融合自编码器网络模型，其特征在于，所述粗粒度特征提取过程公式表示如下：

4.根据权利要求1所述的基于Haar小波变换的可见光与红外图像深度融合自编码器网络模型，其特征在于，所述细粒度特征优化过程公式表...

【技术特征摘要】

1.一种基于haar小波变换的可见光与红外图像深度融合自编码器网络模型，包括依次连接的图像特征提取模块、图像特征融合模块以及图像重构模块；其特征在于，

2.根据权利要求1所述的基于haar小波变换的可见光与红外图像深度融合自编码器网络模型，其特征在于，所述浅层共享特征提取过程公式表示如下：

3.根据权利要求1所述的基于haar小波变换的可见光与红外图像深度融合自编码器网络模型，其特征在于，所述粗粒度特征提取过程公式表示如下：

4.根据权利要求1...

【专利技术属性】
技术研发人员：王越群，李正炜，刘杰，王建立，杨乐强，
申请(专利权)人：中国科学院长春光学精密机械与物理研究所，
类型：发明
国别省市：