【技术实现步骤摘要】
本专利技术属于计算机视觉以及多目标跟踪，特别涉及一种基于多任务网络模型的多目标跟踪方法。
技术介绍
1、多目标跟踪（multiple object tracking, mot）是计算机视觉领域中的一个重要问题，它应用广泛，例如视频监控、自动驾驶、机器人、虚拟现实等领域。多目标跟踪需要在视频序列中实时地定位和跟踪目标。同时，目标跟踪还需要应对很多复杂的情况，例如目标尺度变化、遮挡、光照变化、背景变化，如果跟踪目标是人，由于人是动态变化的，因此其挑战还涉及到人员的外观、姿态、运动模式等因素的变化。目前,多目标跟踪算法采用的标准方法是检测跟踪，跟踪过程分为检测和关联两个阶段，这种方法首先在视频序列中使用目标检测器来检测目标，然后使用跟踪算法来跟踪目标即关联跟踪目标和检测对象。目标关联依据决定了跟踪的目标与新检测的对象之间根据什么特征以及如何确定他们之间的相似性。
2、目前很多目标跟踪主要集中在关联问题上，并没有对检测模型和外观特征的提取过多的关注。根据目标关联依据的不同，跟踪算法主要分为两类。基于运动特征的跟踪算法，其相似度的判定依据仅仅是目标的移动特征，即根据目标轨迹预测的包围框和检测到的包围框之间关系来决定其是同一个目标的可能性。由于在跟踪中遮挡是经常出现的情况，而且有些运行轨迹非常复杂不容易可靠的预测，因此仅仅利用运动特征则会丢失原轨迹。
3、最近的一些工作，其关联相似度的计算还增加了外观重识别特征，即基于外观重识别特征的跟踪算法。因为外观特征相对稳定，该方式对快速运动和遮挡具有鲁棒性，特别是，它可以重新
4、为了减少跟踪推理时间，目前很多跟踪方法都采用将检测和re-id重识别特征提取放到一个模型中实现，称之为检测和嵌入（joint detection and embedding, jde）方式，以解决分离模式下的外观提取执行的效率低的问题。但这种方式的跟踪准确性普遍低于两阶段，这种方式的检测准确性和外观特征提取效果都比两阶段单任务模型的差，主要是由于多任务模型中的竞争导致的，由于检测任务和重识别任务是两个完全不同的任务，它们需要不同的特征。一般来说，re-id 特征需要更多低级特征来区分同一类的不同实例，而目标检测特征则需要高级的特征来识别目标的类别以及边界信息。单个模型由于共享特征将导致特征冲突，从多任务损失优化的角度来看，检测和重识别的优化目标存在冲突。因此，当模型在训练学习中，往往就会引起多任务学习中的竞争问题，从而降低每个任务的性能。
5、此外，每个跟踪目标都保存了成功跟踪后的最后外观特征和嵌入外观特征，嵌入外观特征可以理解为时跟踪目标的外观平均值。可能由于遮挡等其它原因，如果当前跟踪目标丢失了，计算外观相似度矩阵时采用嵌入式外观特征时合理的。但是如果当前跟踪目标正在活动的跟踪状态，下一帧的外观特征肯定跟上一帧最后的外观特征是非常相似的，因此计算外观相似度矩阵时，应当更多的考虑上一帧的外观特征。然而，目前的通用的jde多目标跟踪算法并没有这两种状态进行区分，而是统一采用嵌入外观特征，这明显是不合理的。
技术实现思路
1、本专利技术的目的在于提出一种基于jde多任务网络模型的多目标跟踪方法，该方法采用单个jde多任务模型同时实现目标的检测和目标的外观特征提取，以实现多目标跟踪。
2、本专利技术为了实现上述目的，采用如下技术方案：
3、基于jde多任务网络模型的多目标跟踪方法，包括如下步骤：
4、步骤1.针对待跟踪的视频信息，读取视频中的每帧图片成为一个图像序列，然后进行缩放，并且对图像进行正则化处理；
5、步骤2.利用jde多任务网络模型对第一帧输入图像进行目标检测，获得所有检测对象框以及每个检测对象相应的外观特征；
6、步骤3.为每个检测目标创建一个新的跟踪轨迹，保存跟踪对象的轨迹信息以及外观信息，并且分配身份id；
7、步骤4.读取新的一帧图像，然后利用jde多任务网络模型对新的一帧图像进行目标检测，获得当前帧图像的检测对象和该检测对象的外观特征；
8、步骤5.利用外观特征的余弦相似性计算每个检测对象的外观特征与当前所有跟踪目标的外观特征的外观相似度，利用计算得到的相似度矩阵，采用匈牙利匹配算法进行第一次匹配；
9、步骤6.对所有未匹配成功的跟踪目标和检测框，再根据框的重叠度进行第二次匹配；
10、步骤7.所有匹配成功的检测对象的框信息加入到对应的跟踪目标的轨迹中，并且用该检测对象的外观特征更新跟踪目标的嵌入特征和当前特征；
11、步骤8.对所有没有匹配成功的跟踪目标，原状态如果为活动，则状态改为非活动；
12、步骤9.可视化显示该帧图像以及每个跟踪目标的边框以及身份id；
13、步骤10.若跟踪未停止，则进入步骤4，继续新一帧的跟踪处理。
14、本专利技术具有如下优点：
15、本专利技术提出了一种基于jde多任务网络模型的多目标跟踪方法，该方法设计了一种新的jde多任务网络模型，该模型提出了一种基于特征层堆栈和层注意力的机制，其中，将骨干网和特征融合网络提取到的不同层特征放入到一个特征层堆栈中，然后针对每一个任务分支，设计一个自适应的层注意力机制来重点关注自己任务需要的特征层，从而避免了任务竞争的问题，提高了jde多任务网络模型目标检测和外观特征提取能力。同时，本专利技术针对在线多目标跟踪中对跟踪目标丢失和正在跟踪的状态采用同样的外观特征处理方式不合理的问题，对传统的jde跟踪算法进行了改进，从而提升了跟踪的性能。
本文档来自技高网...【技术保护点】
1.基于JDE多任务网络模型的多目标跟踪方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于JDE多任务网络模型的多目标跟踪方法，其特征在于，
3.根据权利要求2所述的基于JDE多任务网络模型的多目标跟踪方法，其特征在于，
4.根据权利要求3所述的基于JDE多任务网络模型的多目标跟踪方法，其特征在于，
5.根据权利要求2所述的基于JDE多任务网络模型的多目标跟踪方法，其特征在于，
6.根据权利要求5所述的基于JDE多任务网络模型的多目标跟踪方法，其特征在于，
7.根据权利要求1所述的基于JDE多任务网络模型的多目标跟踪方法，其特征在于，
8.根据权利要求1所述的基于JDE多任务网络模型的多目标跟踪方法，其特征在于，
9.根据权利要求7所述的基于JDE多任务网络模型的多目标跟踪方法，其特征在于，
10.根据权利要求1所述的基于JDE多任务网络模型的多目标跟踪方法，其特征在于，
【技术特征摘要】
1.基于jde多任务网络模型的多目标跟踪方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于jde多任务网络模型的多目标跟踪方法，其特征在于，
3.根据权利要求2所述的基于jde多任务网络模型的多目标跟踪方法，其特征在于，
4.根据权利要求3所述的基于jde多任务网络模型的多目标跟踪方法，其特征在于，
5.根据权利要求2所述的基于jde多任务网络模型的多目标跟踪方法，其特征在于，
【专利技术属性】
技术研发人员：尹燕芳，尹占芳，安效伟，蒲海涛，刘明，
申请(专利权)人：山东科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。