目标跟踪方法、装置、电子设备及计算机可读存储介质制造方法及图纸

本申请公开了一种目标跟踪方法、装置、电子设备及计算机可读存储介质。目标跟踪方法包括：利用多任务神经网络从历史图像帧中获取与待跟踪目标对应的候选部位检测框、REID信息和若干个人体关键点，并创建与待跟踪目标对应的跟踪对象；基于根据历史图像帧获取的跟踪对象的REID信息和根据当前图像帧获取的多个检测对象的REID信息，构建REID相似度矩阵；利用通用匹配算法基于REID相似度矩阵对跟踪对象和多个检测对象进行特征匹配；从多个检测对象中获取到与跟踪对象匹配成功的检测对象，以作为目标检测对象；将目标检测对象的各部位坐标信息以及人体姿态关键点信息合并到跟踪对象的历史跟踪信息中。上述方案，能够减小系统运行耗时。耗时。耗时。

【技术实现步骤摘要】
目标跟踪方法、装置、电子设备及计算机可读存储介质


[0001]本申请涉及计算机视觉
，特别是涉及一种目标跟踪方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]多目标姿态跟踪是计算机视觉方向中非常重要的研究方向之一，通过对马路、商场等公共区域的行人进行轨迹跟踪能够完成区域人流密度统计、办公区域无感打卡、非法入侵区域报警等，通过对目标的姿态进行跟踪，能够预测目标的动作趋势、跌倒报警、打斗报警等等，是未来智慧生活、万物互联的重要技术手段之一。
[0003]目前常见的多目标姿态跟踪技术往往依赖多个神经网络的组合，将目标检测、姿态估计、人脸识别、行人重识别等环节分配给各个子网络，最后将各自的网络输出结果进行逻辑组合，完成最终的姿态跟踪。这势必导致整个流程的耗时巨大，多个网络模型的管理也较为繁琐，为工业界的技术落地带来重重困难。因此设计一种兼顾目标检测、姿态估计以及特征提取的多任务神经网络是十分重要且意义非凡的。

技术实现思路

[0004]本申请主要解决的技术问题是提供一种目标跟踪方法、装置、电子设备及计算机可读存储介质，能够减小系统运行耗时。
[0005]为了解决上述问题，本申请第一方面提供了一种目标跟踪方法，所述目标跟踪方法包括：利用多任务神经网络从历史图像帧中获取与待跟踪目标对应的候选部位检测框、REID信息和若干个人体关键点；根据所述待跟踪目标对应的候选部位检测框、REID信息和若干个人体关键点，创建与所述待跟踪目标对应的跟踪对象；基于根据所述历史图像帧获取的所述跟踪对象的REID信息和根据当前图像帧获取的多个检测对象的REID信息，构建REID相似度矩阵；利用通用匹配算法基于所述REID相似度矩阵对所述跟踪对象和所述多个检测对象进行特征匹配；从所述多个检测对象中获取到与所述跟踪对象匹配成功的检测对象，以作为目标检测对象；将所述目标检测对象的各部位坐标信息以及人体姿态关键点信息合并到所述跟踪对象的历史跟踪信息中。
[0006]其中，所述根据所述待跟踪目标对应的候选部位检测框、REID信息和若干个人体关键点，创建与所述待跟踪目标对应的跟踪对象，包括：通过人体关键点聚类算法对所述若干个人体关键点进行关键点聚类，得到所述待跟踪目标的若干个人体姿态关键点；采用基于人体姿态关键点监督的关联策略，从所述候选部位检测框中确定出真实部位检测框；根据所述真实部位检测框、所述REID信息和所述若干个人体姿态关键点，创建与所述待跟踪目标对应的所述跟踪对象。
[0007]其中，所述部位检测框包括人脸检测框、头肩检测框和人体检测框；所述采用基于人体姿态关键点监督的关联策略，从所述候选部位检测框中确定出真实部位检测框，包括：根据所述若干个人体姿态关键点中的上下左右四个边界点获得理论人体检测框，将所述理
论人体检测框与所有候选人体检测框进行交并比匹配，根据匹配结果确定真实人体检测框；从框中心点在所述真实人体检测框内部的所有候选头肩检测框中，筛选出框中包含的人体姿态关键点满足第一预设条件的所有目标候选头肩检测框，计算所述所有目标候选头肩检测框与所述真实人体检测框的交并比，选出交并比最大的目标候选头肩检测框作为真实头肩检测框；从框中心点在所述真实头肩检测框内部的所有候选人脸检测框中，筛选出框中包含的人体姿态关键点满足第二预设条件的所有目标候选人脸检测框，计算所述所有目标候选人脸检测框与所述真实头肩检测框的交并比，选出交并比最大的目标候选人脸检测框作为真实人脸检测框。
[0008]其中，在所述基于根据所述历史图像帧获取的所述跟踪对象的REID信息和根据当前图像帧获取的多个检测对象的REID信息，构建REID相似度矩阵之前，所述方法包括：判断根据所述当前图像帧获取的所述多个检测对象是否包含REID信息；响应于所述多个检测对象包含REID信息，执行所述基于根据所述历史图像帧获取的所述跟踪对象的REID信息和根据当前图像帧获取的多个检测对象的REID信息，构建REID相似度矩阵的步骤；响应于所述多个检测对象不包含REID信息，根据所述跟踪对象的历史跟踪信息中的部位检测框和当前图像帧获取的所述多个检测对象的部位检测框，对所述跟踪对象和所述多个检测对象进行交并比匹配，并执行所述从所述多个检测对象中获取到与所述跟踪对象匹配成功的检测对象，以作为目标检测对的步骤。
[0009]其中，所述根据所述跟踪对象的历史跟踪信息中的部位检测框和当前图像帧获取的所述多个检测对象的部位检测框，对所述跟踪对象和所述多个检测对象进行交并比匹配，包括：将所述跟踪对象的部位检测框和所述多个检测对象的部位检测框进行交并比计算，构建交并比距离矩阵；利用所述通用匹配算法基于所述交并比距离矩阵对所述跟踪对象和所述多个检测对象进行匹配。
[0010]其中，所述REID信息包括人脸REID信息和人体REID信息，所述REID相似度矩阵包括人脸REID相似度矩阵与人体REID相似度矩阵；所述利用通用匹配算法基于所述REID相似度矩阵对所述跟踪对象和所述多个检测对象进行特征匹配，包括：利用所述通用匹配算法基于所述人脸REID相似度矩阵对所述跟踪对象和所述多个检测对象进行人脸特征匹配；响应于所述人脸特征匹配成功，则执行所述从所述多个检测对象中获取到与所述跟踪对象匹配成功的检测对象，以作为目标检测对象的步骤；响应于所述人脸特征匹配不成功，则进一步利用所述通用匹配算法基于所述人体REID相似度矩阵对所述跟踪对象和所述多个检测对象进行人体特征匹配；若所述人体特征匹配成功，则执行所述从所述多个检测对象中获取到与所述跟踪对象匹配成功的检测对象，以作为目标检测对象的步骤；若所述人体特征匹配不成功，则执行所述将所述跟踪对象的部位检测框和所述多个检测对象的部位检测框进行交并比计算，构建交并比距离矩阵的步骤。
[0011]其中，所述将所述跟踪对象的部位检测框和所述多个检测对象的部位检测框进行交并比计算，构建交并比距离矩阵，包括：获取所述多个检测对象在所述当前图像帧中与所述跟踪对象的历史跟踪信息中具有的所有相同部位的部位检测框；计算所述跟踪对象与所述多个检测对象之间的所述所有相同部位的部位检测框的交并比；根据所述所有相同部位的部位检测框的交并比，得到所述跟踪对象与所述多个检测对象之间的平均交并比；根据所述跟踪对象与每个所述检测对象之间的平均交并比，构建所述交并比距离矩阵。
[0012]其中，在所述利用所述通用匹配算法基于所述交并比距离矩阵对所述跟踪对象和所述多个检测对象进行匹配之后，所述方法还包括：若所述跟踪对象与所述多个检测对象均匹配不成功，则将所述跟踪对象的状态更新为丢失状态，并在所述跟踪对象持续处于丢失状态的图像帧数大于预设帧数时，将所述跟踪对象删除，和/或，将每个所述检测对象均创建为新的跟踪对象。
[0013]为了解决上述问题，本申请第二方面提供了一种目标跟踪装置，所述目标跟踪装置包括：获取模块，所述获取模块用于利用多任务神经网络从历史图像帧中获取与待跟踪目标对应的候选部位检测框、REID信息和若干个人体关键点；创建模块，所述创建本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标跟踪方法，其特征在于，包括：利用多任务神经网络从历史图像帧中获取与待跟踪目标对应的候选部位检测框、REID信息和若干个人体关键点；根据所述待跟踪目标对应的候选部位检测框、REID信息和若干个人体关键点，创建与所述待跟踪目标对应的跟踪对象；基于根据所述历史图像帧获取的所述跟踪对象的REID信息和根据当前图像帧获取的多个检测对象的REID信息，构建REID相似度矩阵；利用通用匹配算法基于所述REID相似度矩阵对所述跟踪对象和所述多个检测对象进行特征匹配；从所述多个检测对象中获取到与所述跟踪对象匹配成功的检测对象，以作为目标检测对象；将所述目标检测对象的各部位坐标信息以及人体姿态关键点信息合并到所述跟踪对象的历史跟踪信息中。2.根据权利要求1所述的目标跟踪方法，其特征在于，所述根据所述待跟踪目标对应的候选部位检测框、REID信息和若干个人体关键点，创建与所述待跟踪目标对应的跟踪对象，包括：通过聚类算法对所述若干个人体关键点进行关键点聚类，得到所述待跟踪目标的若干个人体姿态关键点；采用基于人体姿态关键点监督的关联策略，从所述候选部位检测框中确定出真实部位检测框；根据所述真实部位检测框、所述REID信息和所述若干个人体姿态关键点，创建与所述待跟踪目标对应的所述跟踪对象。3.根据权利要求2所述的目标跟踪方法，其特征在于，所述部位检测框包括人脸检测框、头肩检测框和人体检测框；所述采用基于人体姿态关键点监督的关联策略，从所述候选部位检测框中确定出真实部位检测框，包括：根据所述若干个人体姿态关键点中的上下左右四个边界点获得理论人体检测框，将所述理论人体检测框与所有候选人体检测框进行交并比匹配，根据匹配结果确定真实人体检测框；从框中心点在所述真实人体检测框内部的所有候选头肩检测框中，筛选出框中包含的人体姿态关键点满足第一预设条件的所有目标候选头肩检测框，计算所述所有目标候选头肩检测框与所述真实人体检测框的交并比，选出交并比最大的目标候选头肩检测框作为真实头肩检测框；从框中心点在所述真实头肩检测框内部的所有候选人脸检测框中，筛选出框中包含的人体姿态关键点满足第二预设条件的所有目标候选人脸检测框，计算所述所有目标候选人脸检测框与所述真实头肩检测框的交并比，选出交并比最大的目标候选人脸检测框作为真实人脸检测框。4.根据权利要求1所述的目标跟踪方法，其特征在于，在所述基于根据所述历史图像帧获取的所述跟踪对象的REID信息和根据当前图像帧获取的多个检测对象的REID信息，构建
REID相似度矩阵之前，所述方法包括：判断根据所述当前图像帧获取的所述多个检测对象是否包含REID信息；响应于所述多个检测对象包含REID信息，执行所述基于根据所述历史图像帧获取的所述跟踪对象的REID信息和根据当前图像帧获取的多个检测对象的REID信息，构建REID相似度矩阵的步骤；响应于所述多个检测对象不包含REID信息，根据所述跟踪对象的历史跟踪信息中的部位检测框和当前图像帧获取的所述多个检测对象的部位检测框，对所述跟踪对象和所述多个检测对象进行交并比匹配，并执行所述从所述多个检测对象中获取到与所述跟踪对象匹配成功的检测对象，以作为目标检测对的步骤。5.根据权利要求4所述的目标跟踪方法，其特征在于，所述根据所述跟踪对象的历史跟踪信息中的部位检测框和当前图像帧获取的所述多个检测对象的部位检测框，对所述跟踪对象和所述多个检测对象进行交并比匹配，包括：将所述跟踪对象的部位检测框和所述多个检测对象的部位检测框进行交并比计算，构建交并比距离矩阵；利用所述通用...

【专利技术属性】
技术研发人员：马康，殷俊，朱树磊，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：