目标跟踪的方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及一种目标跟踪的方法及装置、电子设备和存储介质，涉及目标跟踪与行为检测技术领域。所述的目标跟踪的方法，包括：获取待处理视频图像中多时刻视频帧的多个感兴趣目标对应的位置特征及外观特征；根据所述多个感兴趣目标对应的位置特征确定所述多个感兴趣目标的第一遮挡关系；并基于所述第一遮挡关系，对所述多个感兴趣目标的位置特征及外观特征进行特征融合，得到初步的跟踪结果；基于所述第一遮挡关系及所述初步的跟踪结果确定最终的目标跟踪结果。本公开实施例可实现视频图像中多时刻视频帧的多个感兴趣目标的跟踪。中多时刻视频帧的多个感兴趣目标的跟踪。

【技术实现步骤摘要】
目标跟踪的方法及装置、电子设备和存储介质


[0001]本公开涉及目标跟踪
，尤其涉及一种目标跟踪的方法及装置、电子设备和存储介质。

技术介绍

[0002]多目标跟踪技术因其理论与应用价值，吸引了大量的学者的关注，技术取不断的发展、取得了瞩目的成果。但 在应用过程中仍然存在不可忽视的难题：在跟踪中存在复杂背景、光照、多尺度形变、遮挡、多目标彼此之间干扰 等问题给多目标跟踪中的多个状态复杂的目标进行长时间连续识别的任务带来了很多挑战，使得多目标检跟踪技术 的精度与速度在实时的视频监控场景中距离应用还有较大的提升空间。随着对深度学习领域的研究方式不断的进行 更新，卷积神经网络进入到研究者的视野中，成为研究者们的热门的研究方向。在面对以上难题中，研究人员与学 者将深度学习应用到了多目标跟踪中，虽然取得了一定的成效，但并未将以上问题充分解决。因此，多目标检测与 跟踪技术需要更优化的算法，从而达到实用性和实时性的效果。
[0003]而角点特征同样具有重要的视觉感知信息，角点特征因其具有旋转不变性，缩放平移性、光照不变性以及对空 间梯度方向上的描述等局部不变性，使得其在目标之间相互遮挡，杂波较多、噪声较多的复杂场景仍然可以对目标 进行判别与跟踪。角点特征因其在GPU设备上的应用，使得其速度提升10倍以上，所以在目标识别领域与图像匹配 领域以及行为识别领域成功进行了应用；但在多目标跟踪领域因任务的特殊性，需要在连续的视频帧中，同时对多 个目标进行目标检测、特征提取、数据关联；若仅根据角点特征对多目标进行跟踪，会因目标运动导致对应目标角 点特征发生变化导致跟踪失败。
[0004]JDE(Jointly learns the Detector and Embedding model)率先提出，，将表观特征提取模型合并到目标检测器中，以 便该模型可以同时输出行人检测结果和对应的行人表观特征，采用FPN作为检测模型，使用Triplet loss作为表观模 型的损失函数，使用卡尔曼滤波器作为运动模型预测轨迹在下一时刻的位置。
[0005]FairMOT模型，用无锚的跟踪方式进行检测，避免了锚框带来的回归歧义问题，提高了卷积提取的表观特征的 准确性，同时以多任务的方式联合训练检测与跟踪任务，同时输出检测部分与目标外观特征提取部分。检测部分包 含：目标中心点、目标框宽高、目标框偏移量；目标外观特征提取部分包含每一个目标的外观特征。为了探索选择 外观信息的维度，FairMOT做了一系列对比实验，发现使用低维度的外观特征更合理，维度太大容易产生过拟合。 这种方式提高了运行速度，但预测的外观特征不够拟合，共享特征部分过多造成检测特征与目标外观特征的紊乱， 在目标发生遮挡时，容易发生跟踪失败。。
[0006]上这种算法的检测效果良好，但是还是存在着改正的空间。理由是这些方法对视觉系统的注意机制的认识还不 够完善，只提出在时间维度上增加注意力转移信息，并且图像的多样性以及噪声的干扰，导致只能从初级的特征入 手而没有注意图像语义信息等高级特征的重要性。
[0007]综上所述，基于深度学习的多目标跟踪算法大多仅以深度特征进行检测与跟踪检测效果良好，但是还是存在着 改正的空间，如在遮挡状态下跟踪鲁棒性不够；而仅以角点特征进行多目标跟踪，在目标相互遮挡，杂波较多、噪 声较多的复杂场景下仍然可以对目标进行判别与跟踪，但在时间维度上因目标运动使得特征变换导致目标的错检和 漏检等问题使得目标无法进行有效的关联。综合来看，目前缺乏一种深度特征与角点特征可以结合后共同应用于多 目标跟踪方法的框架，既解决目标有效的关联问题，又在遮挡状态下保持跟踪的鲁棒性。

技术实现思路

[0008]本公开提出了一种目标跟踪的方法及装置、电子设备和存储介质技术方案。
[0009]根据本公开的一方面，提供了一种目标跟踪的方法，包括：
[0010]获取待处理视频图像中多时刻视频帧的多个感兴趣目标对应的位置特征及外观特征；
[0011]根据所述多个感兴趣目标对应的位置特征确定所述多个感兴趣目标的第一遮挡关系；并基于所述第一遮挡关 系，对所述多个感兴趣目标的位置特征及外观特征进行特征融合，得到初步的跟踪结果；
[0012]基于所述第一遮挡关系及所述初步的跟踪结果确定最终的目标跟踪结果。
[0013]优选地，在所述获取待处理视频图像中多时刻视频帧的多个感兴趣目标对应的位置特征及外观特征之前，确定 待处理视频图像中多时刻视频帧的多个感兴趣目标对应的位置特征及外观特征，其确定方法，包括：
[0014]获取特征提取模型；
[0015]利用所述特征提取模型，对待处理视频图像中多时刻视频帧的多个感兴趣目标进行特征提取，得到多个感兴趣 目标对应的位置特征及外观特征。
[0016]优选地，所述利用所述特征提取模型，对待处理视频图像中多时刻视频帧的多个感兴趣目标进行特征提取，得 到多个感兴趣目标对应的位置特征及外观特征的方法，包括：
[0017]利用所述特征提取模型，对待处理视频图像中多时刻视频帧的多个感兴趣目标进行特征提取，得到不同尺度的 语义特征及不同尺度的位置特征；
[0018]对所述不同尺度的语义特征进行融合得到外观特征，以及对所述不同尺度的位置特征进行融合得到位置特征。
[0019]优选地，所述根据所述多个感兴趣目标对应的位置特征确定所述多个感兴趣目标的第一遮挡关系的方法，包括：
[0020]计算所述多个感兴趣目标对应的位置特征之间的距离；
[0021]若所述多个感兴趣目标对应的位置特征之间的距离小于获取的设定距离，则确定所述多个感兴趣目标存在遮 挡；否则，确定所述多个感兴趣目标不存在遮挡；
[0022]以及/或，
[0023]所述基于所述第一遮挡关系，对所述多个感兴趣目标的位置特征及外观特征进行特征融合，得到初步的跟踪结 果的方法，包括：
[0024]根据所述位置特征计算感兴趣目标的轨迹特征；
[0025]若存在第一遮挡关系，则计算所述多个感兴趣目标中的被遮挡的目标及遮挡的目标的匹配点特征；
[0026]对所述轨迹特征、所述匹配点特征及外观特征进行特征融合，得到初步的跟踪结果。
[0027]优选地，所述对所述轨迹特征、所述匹配点特征及外观特征进行特征融合，得到初步的跟踪结果的方法，包括：
[0028]分别计算多个感兴趣目标对应的轨迹特征距离、匹配点特征距离及外观特征距离；
[0029]对所述轨迹特征距离、匹配点特征距离及外观特征距离进行轨迹特征距离、匹配点特征距离及外观特征距离进 行特征融合，得到初步的跟踪结果。
[0030]优选地，所述对所述轨迹特征距离、匹配点特征距离及外观特征距离进行轨迹特征距离、匹配点特征距离及外 观特征距离进行特征融合，得到初步的跟踪结果的方法，包括：
[0031]获取第一设定融合系数、第二设定融合系数及第三设定融合系数；
[0032]分别利用所述第一融合系数、第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标跟踪的方法，其特征在于，包括：获取待处理视频图像中多时刻视频帧的多个感兴趣目标对应的位置特征及外观特征；根据所述多个感兴趣目标对应的位置特征确定所述多个感兴趣目标的第一遮挡关系；并基于所述第一遮挡关系，对所述多个感兴趣目标的位置特征及外观特征进行特征融合，得到初步的跟踪结果；基于所述第一遮挡关系及所述初步的跟踪结果确定最终的目标跟踪结果。2.根据权利要求1所述的方法，其特征在于，在所述获取待处理视频图像中多时刻视频帧的多个感兴趣目标对应的位置特征及外观特征之前，确定待处理视频图像中多时刻视频帧的多个感兴趣目标对应的位置特征及外观特征，其确定方法，包括：获取特征提取模型；利用所述特征提取模型，对待处理视频图像中多时刻视频帧的多个感兴趣目标进行特征提取，得到多个感兴趣目标对应的位置特征及外观特征。3.根据权利要求2所述的方法，其特征在于，所述利用所述特征提取模型，对待处理视频图像中多时刻视频帧的多个感兴趣目标进行特征提取，得到多个感兴趣目标对应的位置特征及外观特征的方法，包括：利用所述特征提取模型，对待处理视频图像中多时刻视频帧的多个感兴趣目标进行特征提取，得到不同尺度的语义特征及不同尺度的位置特征；对所述不同尺度的语义特征进行融合得到外观特征，以及对所述不同尺度的位置特征进行融合得到位置特征。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述根据所述多个感兴趣目标对应的位置特征确定所述多个感兴趣目标的第一遮挡关系的方法，包括：计算所述多个感兴趣目标对应的位置特征之间的距离；若所述多个感兴趣目标对应的位置特征之间的距离小于获取的设定距离，则确定所述多个感兴趣目标存在遮挡；否则，确定所述多个感兴趣目标不存在遮挡；以及/或，所述基于所述第一遮挡关系，对所述多个感兴趣目标的位置特征及外观特征进行特征融合，得到初步的跟踪结果的方法，包括：根据所述位置特征计算感兴趣目标的轨迹特征；若存在第一遮挡关系，则计算所述多个感兴趣目标中的被遮挡的目标及遮挡的目标的匹配点特征；对所述轨迹特征、所述匹配点特征及外观特征进行特征融合，得到初步的跟踪结果。5.根据权利要求4所述的方法，其特征在于，所述对所述轨迹特征、所述匹配点特征及外观特征进行特征融合，得到初步的跟踪结果的方法，包括：分别计算多个感兴趣目标对应的轨迹特征距离、匹配点特征距离及外观特征距离；对所述轨迹特征距离、匹配点特征距离及外观特征距离进行轨迹特征距离、匹配点特征距离及外观特征距离进行特征融合，得到初步的跟踪结果。6.根据权利要求1
‑
5任一项所述的方法，其特征在于，所述基于所述第一遮挡...

【专利技术属性】
技术研发人员：田枫，白欣宇，刘芳，路阳，刘宗堡，张可佳，
申请(专利权)人：东北石油大学，
类型：发明
国别省市：