基于频域增强的RGB-T图像特征融合模型构建方法及系统技术方案

技术编号:42476492 阅读:45 留言:0更新日期:2024-08-21 12:59
本发明专利技术提供基于频域增强的RGB‑T图像特征融合模型构建方法及系统,方法包括:利用图像频域信息增强模块进行原始图像进行下采样、下采样后的图像进行离散余弦变换、图像高频信息增强、离散余弦逆变换以及图像上采样;利用图像特征融合模块分块提取图像特征、利用卷积神经网络对图像特征进行维度变换、利用注意力机制对图像特征进行处理、进行RGB与红外图像特征融合。本发明专利技术解决了没有充分应用频域信息、下游任务无法指导融合权重、特征融合参数无法自适应调整以及图像特征不够丰富的技术问题。

【技术实现步骤摘要】

本专利技术涉及信号处理、多模态图像融合和计算机视觉领域,具体涉及基于频域增强的rgb-t图像特征融合模型构建方法及系统。


技术介绍

1、在rgb-t实际应用场景中,目前主流的融合方法包括:空间域直接融合。可见光(rgb)与红外(thermal)图像融合是一种将rgb图像和红外图像进行融合的技术,用以获得更全面、更准确的图像信息,它是图像融合领域比较活跃的一个分支,在rgb-t跟踪、人脸识别、机器人同步定位与建图等领域。可见光图像容易受光照影响,但可以提供更多图像细节;而红外图像不受光照影响,但缺乏细节和纹理信息。因此当rgb图像在光线不足的情况下(如黑夜、大雾等),红外信息就可以提供一些有用的线索。通过利用可见光和红外两个模态之间的互补信息来更好地完成任务需求,提高性能。rgb-t融合包括像素融合、特征融合、决策融合等。其中,特征融合方法包括传统融合方法和深度学习方法两大类。

2、传统特征融合方法一般是在空间域或变换域人工分析并设计融合策略,典型的传统融合方法包括基于多尺度变换的方法、基于稀疏表示的方法、基于子空间的方法等。尽管传统融合方法取得本文档来自技高网...

【技术保护点】

1.基于频域增强的RGB-T图像特征融合模型构建方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于频域增强的RGB-T图像特征融合模型构建方法,其特征在于,所述S2包括:

3.根据权利要求2所述的基于频域增强的RGB-T图像特征融合模型构建方法,其特征在于,所述S22中,利用下述逻辑,通过所述离散余弦变换DCT变换得到所述RGB频域信息、所述红外频域信息:

4.根据权利要求2所述的基于频域增强的RGB-T图像特征融合模型构建方法,其特征在于,所述S23中,对所述RGB高频分量、所述红外高频分量,分别与所述RGB频域信息、所述红外频域信息,进...

【技术特征摘要】

1.基于频域增强的rgb-t图像特征融合模型构建方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于频域增强的rgb-t图像特征融合模型构建方法,其特征在于,所述s2包括:

3.根据权利要求2所述的基于频域增强的rgb-t图像特征融合模型构建方法,其特征在于,所述s22中,利用下述逻辑,通过所述离散余弦变换dct变换得到所述rgb频域信息、所述红外频域信息:

4.根据权利要求2所述的基于频域增强的rgb-t图像特征融合模型构建方法,其特征在于,所述s23中,对所述rgb高频分量、所述红外高频分量,分别与所述rgb频域信息、所述红外频域信息,进行叠加操作,得到所述频域增强rgb图像、所述频域增强红外图像以及频域增强变换系数。

5.根据权利要求4所述的基于频域增强的rgb-t图像特征融合模型构建方法,其特征在于,利用下述逻辑,进行所述叠加操作:

6.根据权利要求1所述的基于频域增强的rgb-t图像特征融合模型构建方法,其特征在于,所述s...

【专利技术属性】
技术研发人员:李文娟王峰王勇周杰黄启恒贾镕崔北尧
申请(专利权)人:中国人民解放军陆军炮兵防空兵学院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1