一种基于多模态信息融合的多船舶跟踪方法和装置制造方法及图纸

技术编号:42160729 阅读:21 留言:0更新日期:2024-07-27 00:10
本发明专利技术提供一种基于多模态信息融合的多船舶跟踪方法和装置,获取当前帧中的目标边界框、可见光图像和红外图像,对可见光图像进行特征提取得到可见光特征,对红外图像进行特征提取得到红外特征;将可见光特征和红外特征进行融合,获取目标在当前帧下的表观特征,根据目标边界框获取目标在当前帧下的运动特征,根据历史帧获取其对应的表观特征以及目标的预测运动特征,将目标当前帧的表观特征和历史帧的表观特征进行关联,将当前运动特征和预测运动特征进行关联,根据关联结果对目标的跟踪轨迹进行更新;上述方法在特征采集的过程中充分利用了可见光图像与红外图像的关联和互补信息,增强了多模态特征的判别性和鲁棒性,提高了跟踪效率与准确性。

【技术实现步骤摘要】

本专利技术涉及计算机视觉,特别是涉及一种基于多模态信息融合的多船舶跟踪方法和装置


技术介绍

1、多船舶跟踪技术是智能船舶和海上监视系统的核心技术之一,有助于船舶安全航行和海上安全执法。多船舶跟踪技术需要具备较好的稳定性以及鲁棒性,从而满足船舶全天候不间断航行的需求,而海天环境的特殊性问题,例如海雾、波浪和光照变化频繁,导致监测跟踪过程中,监测到的各个目标之间相似度过高难以对目标进行准确区分判断,以及监测到的目标过远成像过小不清晰的问题,加大了海上多船舶跟踪的难度。由于可见光图像成像机制的局限性,基于可见光图像的多船舶跟踪存在对光照条件变化敏感等问题,难以适应海上的各种特殊环境。红外图像检测物体的热信息,红外辐射穿透海雾及大气的能力比可见光强,对海雾天气和光照条件等因素不敏感,但基于红外图像的多船舶跟踪存在着缺乏目标的纹理和色彩信息,存在对目标辨识度低的问题,难以适应船舶目标相似性大的特点。

2、由于可见光图像和红外图像之间具有互补性,基于可见光图像和红外图像的融合跟踪算法可以提高在恶劣环境下的跟踪性能。多船舶跟踪能够利用可见光图像和红外图像的本文档来自技高网...

【技术保护点】

1.一种基于多模态信息融合的多船舶跟踪方法,其特征在于,包括:

2.根据权利要求1所述的基于多模态信息融合的多船舶跟踪方法,其特征在于,所述对所述可见光图像进行特征提取得到可见光特征,对所述红外图像进行特征提取得到红外特征,具体包括:

3.根据权利要求2所述的基于多模态信息融合的多船舶跟踪方法,其特征在于,所述动态特征学习具体过程包括:

4.根据权利要求2所述的基于多模态信息融合的多船舶跟踪方法,其特征在于,所述将所述可见光特征和红外特征进行融合,获取目标在当前帧下的表观特征,具体包括:

5.根据权利要求4所述的基于多模态信息融合的多船舶跟...

【技术特征摘要】

1.一种基于多模态信息融合的多船舶跟踪方法,其特征在于,包括:

2.根据权利要求1所述的基于多模态信息融合的多船舶跟踪方法,其特征在于,所述对所述可见光图像进行特征提取得到可见光特征,对所述红外图像进行特征提取得到红外特征,具体包括:

3.根据权利要求2所述的基于多模态信息融合的多船舶跟踪方法,其特征在于,所述动态特征学习具体过程包括:

4.根据权利要求2所述的基于多模态信息融合的多船舶跟踪方法,其特征在于,所述将所述可见光特征和红外特征进行融合,获取目标在当前帧下的表观特征,具体包括:

5.根据权利要求4所述的基于多模态信息融合的多船舶跟踪方法,其特征在于,所述将所述优化后的可见光特征、优化后的红外特征、第一可见光输出特征、第二可见光输出特征、第一红外输出特征和第二红外输出特征进行相应的特征融合,得到目标在当前帧下的表观特征,具体包括:

6.根据权利要求1所述的基于多模态信息融合的多船舶跟踪方法,其特征在于,所述将目标在当...

【专利技术属性】
技术研发人员:王宏伟李鼎江舟王探罗善益
申请(专利权)人:中国船舶集团有限公司第七〇九研究所
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1