【技术实现步骤摘要】
本专利技术属于目标跟踪，具体来说是涉及一种基于运动模型和外观模型的rgbt目标跟踪方法。
技术介绍
1、给定一个视频中的初始帧的目标位置，预测后续帧中该目标的位置，这是目标跟踪的主要目标。目标跟踪作为计算机视觉领域的一项基础工作，其在无人驾驶、智能交通、公安侦查、环境监测、医学诊断等领域具有十分重要的价值和作用，为此引起了研究者的广泛关注。
2、然而，仅建立在可见光(rgb)数据集上的目标跟踪在一些极端场景下(例如，低照明度、和恶劣天气等)难以达到预期的效果，近年来，随着多模态传感器的发展，研究人员在通过可见光图像进行目标跟踪的基础上，逐渐将热红外(thermal infrared)图像引入目标跟踪，有效的提高了目标跟踪的效果。其中，红外图像是根据物体的热辐射而成像，虽然缺乏目标颜色、纹理和形状信息并且存在热交叉的问题，但是对光照变化不敏感，具有较强的穿透雾霾的能力。由此可见，将可见光和红外图像进行结合，可以实现较好的互补作用，提高跟踪器在不同应用场景下的鲁棒性。这种将可见光与红外图像(rgb-t)相结合进行目标跟踪的任务在学术界被称为rgbt目标跟踪。
3、到目前为止，基于rgbt的目标跟踪研究已经取得了许多突破，现有的rgbt跟踪器主要是基于判别模式来构建，判别模式的重点是构建一个有效的分类器来区分对象和周围环境，跟踪器输出被采样候选区域的置信度得分来选择最佳匹配的区域作为跟踪目标。判别模式中又分为基于相关滤波器和深度学习的跟踪器，相关滤波器的思想是使用信号的相关性来描述两个因素之间的关联，将目标区域
4、rgbt跟踪通常遭受快速运动、尺度变化、光照变化、热交叉和遮挡等各种挑战因素，现有的模态融合模型往往是同时解决所有的挑战因素，这就要求融合模型足够复杂，训练数据量足够大，这通常难以在真实场景中构建。除此之外，当外观信息不可靠时，比如跟踪器在遮挡场景下，可见光和红外图像的外观信息意义不大，这就需要一种新的方案来解决该问题。
技术实现思路
1、针对上述提到的现有跟踪器中存在的不足，本专利技术提供一种基于运动模型和属性驱动外观模型的rgbt目标跟踪方法，通过挑战属性解开可见光和红外模态融合过程，设计了五个特定属性的融合分支，分别是形状变化、极端照明、遮挡、运动模糊、热交叉。同时为了解决在遮挡场景下的问题，本专利技术设计了一个跟踪切换器，当外观模型不可靠时，切换到运动模型，通过这种方式提升跟踪器在不同挑战场景下的鲁棒性。
2、本专利技术的技术方案为：
3、一种基于运动模型和外观模型的rgbt目标跟踪方法，包括以下步骤：
4、s1、获取可见光图像和红外图像作为第一训练数据集，对第一训练数据集进行属性标记处理获得带有属性标注的第二训练数据集，标记的属性包括形状变化、极端照明、遮挡、运动模糊和热交叉；
5、s2、构建外观模型，包括骨干网络、残差分支块、属性整合网络、roipooling模块和全连接层；其中骨干网络用于提取可见光图像和红外图像的特征，骨干网络的输出为可见光图像特征和红外图像特征融合后的融合特征；残差分支块的输入为融合特征，并且残差分支块包括多个并列的残差分支，残差分支的数量与s1中的属性标记对应，分别计算几个属性分支的残差特征；属性整合网络包括通道聚合网络和空间聚合网络，通道聚合网络和空间聚合网络的输入均为残差分支块输出的全部属性分支的残差特征，其中通道聚合网络用于生成各个属性残差特征的通道权重，空间聚合网络用于生成空间权重，最后将通道权重和空间权值融合后再与骨干网络的输出融合，得到外观模型生成的最终特征图；特征图输入到roipooling模块，提取特征图的roi特征；最后将生成的roi特征图输入到三个全连接层中，其中前两个全连接层作为外观模型的权重共享层，最后一个全连接层有k个分支，k代表域也就是视频序列的数量，每个分支用于针对某个视频序列单独训练，最后得到外观模型对象；
6、s3、构建运动模型，包括运动跟踪器和跟踪切换器，其中运动跟踪器用于预测目标的位置，跟踪切换器用于评估外观跟踪器的可靠性，跟踪切换器的输入为外观模型的目标对象和运动跟踪器输出的运动模型的目标对象，根据设定条件判断选择外观模型或者运动跟踪器进行目标跟踪，并且当选择外观模型进行目标跟踪时，将外观模型的跟踪结果作为实际测量值来更新运动跟踪器；
7、s4、利用训练数据对构建的模型进行训练，具体为：
8、利用第一训练数据集训练骨干网络，之后冻结骨干网络的参数，利用第二训练数据集分别训练对应的残差分支，之后冻结残差分支块的参数后，再利用第一训练数据集训练属性整合网络，训练属性整合网络的过程中将通道聚合网络和空间聚合网络分开训练，即当训练其中一个时冻结另一个的参数，最后得到训练好的外观模型；
9、s5、将待跟踪目标图像同时输入外观模型和运动模型，对目标进行跟踪。
10、进一步的，s2中，所述骨干网络采用的是裁剪过的vgg-m网络，裁剪的方法是将vgg-m网络的五个卷积层裁剪掉后两层，保留前三个卷积层，卷积层的卷积核大小分别为7×7、5×5和3×3；所述残差分支计算残差特征的方法是：
11、ra＝δ(conva(f3))
12、其中，conva(·)表示残差分支块中的卷积层，表示对应属性的残差特征，c×h×w分别表示特征图的通道数、高和宽，frgbt表示由骨干网络提取出的rgb和热红外图像特征级联后的结果，δ指的是激活函数；
13、所述通道聚合网络生成各个属性残差特征的通道权重的具体方法是：
14、将得到的各个属性的残差特征进行求和得到fsum，经过全局平均池化和全连接层将融合特征嵌入到一个向量，最后通过softmax函数生成每个属性的通道权重：
15、
16、rsum＝fen(gap(ra))
17、
18、其中，ra表示残差分支块的特征和，fen(·)表示全连接层用于信息嵌入，表示求和操作生成的特征向量，gap(·)为全局平均池化，再使用softmax函数生成每个属性的通道权重，表示对应属性的通道权重，表示用于通道选择的全连接层；
19、所述空间聚合网络生成空间权重的方法是：
20、构建空间聚合网络为双流网络，由离线空间权重和在线空间权重组成，其中离线空间权重通过计算当前帧目标和模板目标的像素相似度来获得；在线空间权重的获取方法是，将得到的各个属性的残差特征进行求和得到fsum后依次输入到两个卷积层和两个反卷积层中得到，然后将双流网络输出的离线权重和在线权重级联，最后输入到sigmoid函数中生成最终的空间权重ws；<本文档来自技高网...
【技术保护点】
1.一种基于运动模型和外观模型的RGBT目标跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于运动模型和外观模型的RGBT目标跟踪方法，其特征在于，S2中，所述骨干网络采用的是裁剪过的VGG-M网络，裁剪的方法是将VGG-M网络的五个卷积层裁剪掉后两层，保留前三个卷积层，卷积层的卷积核大小分别为7×7、5×5和3×3；所述残差分支计算残差特征的方法是：
3.根据权利要求2所述的一种基于运动模型和外观模型的RGBT目标跟踪方法，其特征在于，S3中，所述运动跟踪器为卡尔曼滤波器，评估外观模型可靠性的方法为：
【技术特征摘要】
1.一种基于运动模型和外观模型的rgbt目标跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于运动模型和外观模型的rgbt目标跟踪方法，其特征在于，s2中，所述骨干网络采用的是裁剪过的vgg-m网络，裁剪的方法是将vgg-m网络的五个卷积层裁剪...
【专利技术属性】
技术研发人员：林迪，常赫，郝宗波，黄俊，李鑫，江前军，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。