一种多模融合目标跟踪方法、系统、设备及存储介质技术方案

本发明专利技术提供一种多模融合目标跟踪方法、系统、设备及存储介质，涉及计算机视觉与人工智能技术领域，所述方法流程为：基于历史的双模态数据和模态缺失数据构建训练数据；基于模态特征交叉补全的方式构建目标跟踪模型，并且使用训练数据进行模型训练；基于训练后的目标跟踪模型对待检测的双模态数据或模态缺失数据进行目标跟踪。本发明专利技术基于模态特征交叉补全的方式构建目标跟踪模型，通过优化模型结构，使得模型能够对实时跟踪过程中可能产生的模态缺失问题进行优化，显式地通过交叉预测补全缺失的模态特征，扩大了训练数据规模，进而达到更好的目标跟踪效果，在极端条件下具备更高的稳定性、鲁棒性。

【技术实现步骤摘要】

本专利技术涉及计算机视觉与人工智能，具体而言，涉及一种多模融合目标跟踪方法、系统、设备及存储介质。

技术介绍

1、可见光与红外(rgb-t)目标跟踪技术，可应用于自动驾驶、导弹制导、安防监控等实际任务中，具有重要应用价值。rgb-t目标跟踪技术基本任务是：基于可见光与红外两种模态数据，对连续视频帧中的特定目标进行定位。红外数据具有对光线变化不敏感的特点，有利于在低光照、光学干扰条件下对目标进行有效跟踪；可见光数据具有纹理信息、颜色信息，能对目标进行多方面建模，充分利用两种模态信息有助于对目标进行稳定、鲁棒的跟踪。

2、现有的rgb-t目标跟踪方法可大致分为传统方法和深度学习方法两大类。传统方法使用传统图像处理和机器学习的方法来描述和识别目标，如基于人工特征、基于稀疏表示、基于子空间学习等。深度学习方法使用深度神经网络来提取和融合两个模态的特征，并且使用一些跟踪算法来定位和跟踪目标，如基于多域网络(mdnet)、基于孪生网络(siamese)、基于判别式相关滤波等方法。

3、近年来，基于深度学习的方法成为rgb-t目标跟踪的主流，其优本文档来自技高网...

【技术保护点】

1.一种多模融合目标跟踪方法，其特征在于，所述方法流程如下：

2.根据权利要求1所述的一种多模融合目标跟踪方法，其特征在于，所述双模态数据包括可见光与红外配对数据；所述模态缺失数据包括单模态可见光数据和单模态红外数据。

3.根据权利要求2所述的一种多模融合目标跟踪方法，其特征在于，基于历史的双模态数据和模态缺失数据构建训练数据的流程如下：

4.根据权利要求3所述的一种多模融合目标跟踪方法，其特征在于，对单模态可见光数据和单模态红外数据进行模态填充是将单模态可见光数据和单模态红外数据的缺失模态填充为黑色。

5.根据权利要求2所述的一种多模融合...

【技术特征摘要】

1.一种多模融合目标跟踪方法，其特征在于，所述方法流程如下：

2.根据权利要求1所述的一种多模融合目标跟踪方法，其特征在于，所述双模态数据包括可见光与红外配对数据；所述模态缺失数据包括单模态可见光数据和单模态红外数据。

3.根据权利要求2所述的一种多模融合目标跟踪方法，其特征在于，基于历史的双模态数据和模态缺失数据构建训练数据的流程如下：

4.根据权利要求3所述的一种多模融合目标跟踪方法，其特征在于，对单模态可见光数据和单模态红外数据进行模态填充是将单模态可见光数据和单模态红外数据的缺失模态填充为黑色。

5.根据权利要求2所述的一种多模融合目标跟踪方法，其特征在于，所述目标跟踪模型包括特有特征预提取模块、共有特征提取模块、特有特征后提取模块、交叉补全模块以及跟踪头网络；

6.根据权利要求5所述的一种多...

【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，请求不公布姓名，请求不公布姓名，
申请(专利权)人：成都数之联科技股份有限公司，
类型：发明
国别省市：