一种基于图像配准的红外与可见光目标识别方法技术

技术编号:42803344 阅读:29 留言:0更新日期:2024-09-24 20:48
本发明专利技术公开了一种基于图像配准的红外与可见光目标识别方法,属于多模态目标识别技术领域,包括:构建密集映射模块作为图像配准网络,通过图像配准网络对红外和可见光相机拍摄的未配准图像进行配准;将配准后的红外和可见光双模态图像送入特征交互融合模块,进行跨模态交互学习,得到具有互补信息的双模态图像特征;利用多尺度特征提取模块对融合后的双模态图像特征进行大小目标自适应感知操作,使得不同尺寸的特征能够进行融合;对不同尺寸的融合特征进行分类与回归,得到最终的船舶目标位置与类别信息。本发明专利技术通过利用图像配准网络及目标尺度自适应感知模块,可以实现对红外与可见光双模态目标的准确识别。

【技术实现步骤摘要】

本专利技术属于多模态目标识别,更具体地,涉及一种红外与可见光双模态图像中船舶目标识别方法。


技术介绍

1、目标识别是无人艇对水面环境进行自主感知的关键技术。常见用于识别水面目标的传感器设备有可见光相机、红外相机等。海上/湖上环境复杂多变,同时可见光和红外传感器各自存在能力局限,使得单一模态传感器难以准确、可靠识别水面目标。具体来说,可见光相机捕捉到的图像呈现出丰富的细节与纹理信息,但易受到天气和光照影响,例如,在黑暗与雾霾条件下无法有效捕捉到目标;而红外相机依靠物体热辐射成像,具有抗干扰、作用距离远、穿透烟尘雾霾能力强、全天时工作的优点,但其图像存在对比度低、缺少目标纹理信息、信噪比低等缺点。因此,通过结合红外和可见光双模态图像信息,可以实现这两种传感器的优势互补,进而提升水面目标检测识别性能。

2、目前,红外与可见光图像目标识别主要面临以下两个问题:

3、(1)图像未配准的问题。为实现红外与可见光双模态目标识别,现有的传统识别方法、深度学习识别方法均是基于配准好的双模态图像而设计。然而,由于红外和可见光相机的内、外部参数不同,且相本文档来自技高网...

【技术保护点】

1.一种基于图像配准的红外与可见光目标识别方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述构建密集映射模块作为图像配准网络,通过图像配准网络对红外和可见光相机拍摄的未配准图像进行配准,包括:

3.根据权利要求2所述的方法,其特征在于,所述密集映射模块由金字塔特征提取器和流估计器组成,金字塔特征提取器由四层卷积操作组成,用以提取双模态图像的多尺度特征,流估计器由三个相同的流估计块组成,每个流估计块包含一个通道拼接操作、四个卷积操作以及一个上采样操作。

4.根据权利要求3所述的方法,其特征在于,所述利用密集映射模块估计红外和可见光相...

【技术特征摘要】

1.一种基于图像配准的红外与可见光目标识别方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述构建密集映射模块作为图像配准网络,通过图像配准网络对红外和可见光相机拍摄的未配准图像进行配准,包括:

3.根据权利要求2所述的方法,其特征在于,所述密集映射模块由金字塔特征提取器和流估计器组成,金字塔特征提取器由四层卷积操作组成,用以提取双模态图像的多尺度特征,流估计器由三个相同的流估计块组成,每个流估计块包含一个通道拼接操作、四个卷积操作以及一个上采样操作。

4.根据权利要求3所述的方法,其特征在于,所述利用密集映射模块估计红外和可见光相机拍摄的未配准图像之间的形变场,包括:

5.根据权利要求4所述的方法,其特征在于,为训练密集映射模块,收集公开数据集中已配准的红外和可见光双模态图像对,同时对已配准图像对中的红外图像进行非配准操作,形成具有配准真值信息的未配...

【专利技术属性】
技术研发人员:黄骁陶浩朱春佳罗威范慧丽
申请(专利权)人:中国舰船研究设计中心
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1