一种多模成像系统的图像语义融合检测方法技术方案

本发明专利技术为一种多模成像系统的图像语义融合检测方法，属于图像识别领域。由多模成像系统进行实现，该方法包含以下步骤：S1：获取对应识别区域的图像传感器的图像数据；S2：分别对视觉传感器和其他模式的图像传感器提取视觉图像和探测图像进行特征矩阵的提取，并进行矩阵延展，选出距离最近的特征进行特征融合，得到图像语义；S3：将视觉图像的特征矩阵和图像语义转换到小波域进行去噪和融合，得到最终特征；S4：利用深度学习网络对最终特征进行识别，输出图像识别的结果。本发明专利技术提出了一种多模成像系统的图像语义融合检测方法，能够实现多语义的精准匹配和融合，最终达到借助多模成像系统精确的进行图像识别。

【技术实现步骤摘要】

本专利技术涉及一种多模成像系统的图像语义融合检测方法，属于图像识别领域，尤其涉及一种多模成像系统的图像语义融合检测。

技术介绍

1、随着图像识别技术的发展，其应用场景逐渐扩展，针对自动驾驶、军事决策、火灾报警等场景，单一的图像识别模式，由于无法进行比对校正、识别精度不够、对语义的理解不清晰等因素已经无法满足应用的需求，尤其是复杂多源的大场景。多语义融合的图像识别检测方法能够很好的解决这一问题，通过分析图像特征的互补性、一致性等，从多个语义角度提取融合的图像特征，实现图像的准确识别。

2、目前，存在很多的图像融合方法，主要是针对红外和可见光图像进行融合，但缺少在不同尺度、角度、语义图像的配准上的考虑，主要是通过深度学习网络预先进行图像的匹配，适用于固定场景中。如果场景移动或发生变化，会导致目标区域对应图像中的特征无法准确匹配。

技术实现思路

1、有鉴于此，本专利技术提供一种多模成像系统的图像语义融合检测方法，意在通过对特征的分析，实现多语义的精准匹配和融合，最终达到借助多模成像系统精确的进行图像识别本文档来自技高网...

【技术保护点】

1.一种多模成像系统的图像语义融合检测方法，其特征在于，由多模成像系统进行实现，所述的多模成像系统由两种及以上识别模式的多个图像传感器，以及与之通过网络相连的服务器构成；

2.根据权利要求1所述的一种多模成像系统的图像语义融合检测方法，其特征在于，所述的步骤S2具体包含：

3.根据权利要求2所述的一种多模成像系统的图像语义融合检测方法，其特征在于，所述的提取视觉图像和探测图像的特征的网络，可以为分别采用VGG网络、RepVGG网络和SwinTransformer网络中的一种或多种。

4.根据权利要求2所述的一种多模成像系统的图像语义融合检测方法，其特征...

【技术特征摘要】

1.一种多模成像系统的图像语义融合检测方法，其特征在于，由多模成像系统进行实现，所述的多模成像系统由两种及以上识别模式的多个图像传感器，以及与之通过网络相连的服务器构成；

2.根据权利要求1所述的一种多模成像系统的图像语义融合检测方法，其特征在于，所述的步骤s2具体包含：

3.根据权利要求2所述的一种多模成像系统的图像语义融合检测方法，其特征在于，所述的提取视觉图像和探测图像的特征的网络，可以为分别采用vgg网络、repvgg网络和swintransformer网络中的一种或多种。

4.根据权利要求2所述的一种多模成像系统的图像语义融合检测方法，其特征在于，步骤s202所述的矩阵延展为将m×n×k的特征矩阵延展成为m×nk的矩阵，其中，m×n为识别区域的像素维度，k为像素点特征维度。

5.根...

【专利技术属性】
技术研发人员：肖雪，高莎，艾思岐，
申请(专利权)人：国器智眸重庆科技有限公司，
类型：发明
国别省市：