一种基于运动模型和外观模型的RGBT目标跟踪方法技术

本发明专利技术属于目标跟踪技术领域，具体来说是涉及一种基于运动模型和外观模型的RGBT目标跟踪方法。本发明专利技术方法采用的模型包括外观模型和运动模型；外观模型用于可见光与红外图像融合，提取跟踪目标的外观信息，包括属性驱动残差分支、属性整合网络，跟踪器使用的是RT‑MDNet；运动模型提供被跟踪目标的运动线索，包括运动跟踪器、跟踪器切换器，后者用来动态选择两种跟踪器跟踪结果。本发明专利技术利用可见光与红外模态之间的互补特性提高模型的跟踪精度，并且结合属性驱动模块和运动模型，大大提高了跟踪器在面对复杂场景下的鲁棒性。

【技术实现步骤摘要】

本专利技术属于目标跟踪，具体来说是涉及一种基于运动模型和外观模型的rgbt目标跟踪方法。

技术介绍

1、给定一个视频中的初始帧的目标位置，预测后续帧中该目标的位置，这是目标跟踪的主要目标。目标跟踪作为计算机视觉领域的一项基础工作，其在无人驾驶、智能交通、公安侦查、环境监测、医学诊断等领域具有十分重要的价值和作用，为此引起了研究者的广泛关注。

2、然而，仅建立在可见光(rgb)数据集上的目标跟踪在一些极端场景下(例如，低照明度、和恶劣天气等)难以达到预期的效果，近年来，随着多模态传感器的发展，研究人员在通过可见光图像进行目标跟踪的基础上，逐渐将热红外(thermal infrared)图像引入目标跟踪，有效的提高了目标跟踪的效果。其中，红外图像是根据物体的热辐射而成像，虽然缺乏目标颜色、纹理和形状信息并且存在热交叉的问题，但是对光照变化不敏感，具有较强的穿透雾霾的能力。由此可见，将可见光和红外图像进行结合，可以实现较好的互补作用，提高跟踪器在不同应用场景下的鲁棒性。这种将可见光与红外图像(rgb-t)相结合进行目标跟踪的任务在学术界被称为rgbt本文档来自技高网...

【技术保护点】

1.一种基于运动模型和外观模型的RGBT目标跟踪方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于运动模型和外观模型的RGBT目标跟踪方法，其特征在于，S2中，所述骨干网络采用的是裁剪过的VGG-M网络，裁剪的方法是将VGG-M网络的五个卷积层裁剪掉后两层，保留前三个卷积层，卷积层的卷积核大小分别为7×7、5×5和3×3；所述残差分支计算残差特征的方法是：

3.根据权利要求2所述的一种基于运动模型和外观模型的RGBT目标跟踪方法，其特征在于，S3中，所述运动跟踪器为卡尔曼滤波器，评估外观模型可靠性的方法为：

【技术特征摘要】

1.一种基于运动模型和外观模型的rgbt目标跟踪方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于运动模型和外观模型的rgbt目标跟踪方法，其特征在于，s2中，所述骨干网络采用的是裁剪过的vgg-m网络，裁剪的方法是将vgg-m网络的五个卷积层裁剪...

【专利技术属性】
技术研发人员：林迪，常赫，郝宗波，黄俊，李鑫，江前军，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：