一种实时多目标跟踪方法及系统技术方案

本发明专利技术公开了一种实时多目标跟踪方法及系统，该方法包括将实际当前帧图片输入目标检测模型，得到实际当前帧的目标检测结果；获取若干所述人员头部检测框各自的中心点生成实际中心点集；根据前一帧图片的目标检测结果预测获得当前帧的目标预测结果。针对特定场景对人员头部进行训练，并对人员头部的中点进行卡尔曼滤波预测，实现跟踪效果。简化卡尔曼滤波的预测过程，针对人员头部的中点设置匹配规则，避免使用对人员头部的特征计算和匈牙利匹配。可在嵌入式设备(jetson nano)上实现实时的多目标跟踪，计算复杂度与人数成线性关系，计算复杂度较低。在办公室等场景下表现出较高的准确率。的准确率。的准确率。

【技术实现步骤摘要】
一种实时多目标跟踪方法及系统


[0001]本专利技术涉及目标跟踪
，特别是涉及一种尤其适用于嵌入式设备使用的实时多目标跟踪方法及系统。

技术介绍

[0002]当前较为流行的多目标跟踪算法包括Sort以及DeepSort算法。这些算法通过一个检测头(目标检测算法)检测前后两帧图片，得到前后两帧的目标。为了使前后两帧的目标对应起来，通常是根据前一帧的目标的检测框信息，利用卡尔曼滤波给出预测的该目标的检测框信息。在后一帧中，计算预测的和实际的检测框信息得到各自的特征，将预测得到的特征和实际得到的特征送入匈牙利算法，进行特征匹配，从而将预测结果与实际结果对应起来。
[0003]从上述过程中可以看出，在使前后两帧目标对应起来的过程中，不但需要对检测框信息进行预测，还需要根据检测框信息计算各目标的特征，并进行计算复杂度更高的匈牙利匹配，这一过程极大耗费计算资源，使得多目标跟踪算法往往适用于计算资源较为充裕的服务器等硬件设备。
[0004]在工业场景下使用的多目标跟踪算法，例如DeepSort算法等，这些算法主要包括当前帧目标检测、基于前一帧目标检测框预测当前帧目标检测框、当前帧中预测的检测框与实际的检测框进行匹配等三个步骤。通常在最后一个步骤匹配过程中，需要计算前后两帧中所有目标的特征，然后用匈牙利算法进行特征匹配，而匈牙利算法计算复杂度较高，其复杂度与目标数量成指数关系，因此整体算法速度较慢，需要较多的计算资源，无法在算力有限的嵌入式设备(jetson nano)上运行。
[0005]而部分采用简单匹配过程的算法，仅包含上述的第一和第三步骤，且在第三步骤中，摈弃特征匹配和匈牙利算法，而是直接计算前后两帧之间目标检测框的欧式距离，取距离最小的检测框进行匹配。简单使用目标检测框的欧式距离进行匹配，当遇到部分遮挡导致目标检测框变化较大或者人员交错等情况时，较易造成目标跟踪的丢失或者错误跟踪，效果不佳。

技术实现思路

[0006]鉴于上述问题，本专利技术提供一种克服上述问题或者至少部分地解决上述问题的一种实时多目标跟踪方法及系统。
[0007]本专利技术提供了如下方案：
[0008]一种实时多目标跟踪方法，包括：
[0009]将实际当前帧图片输入目标检测模型，得到实际当前帧的目标检测结果；所述目标检测结果包括若干人员头部检测框；
[0010]获取若干所述人员头部检测框各自的中心点生成实际中心点集；
[0011]根据前一帧图片的目标检测结果预测获得当前帧的目标预测结果，所述目标预测
结果包括若干人员头部预测框；
[0012]获取若干所述人员头部预测框各自的中心点生成预测中心点集；
[0013]采用目标欧式距离作为匹配准则，将所述实际中心点集中包括的各个实际中心点与所述预测中心点集包括的各个预测中心点进行一一匹配；
[0014]基于所述实际中心点与所述预测中心点的匹配结果进行目标跟踪。
[0015]优选地：所述目标检测模型包括在Tensorrt加速框架下的Yolov4
‑
tiny目标检测模型。
[0016]优选地：分别获取若干所述人员头部检测框的置信度分数；
[0017]获取所述置信度分数大于置信度阈值的若干所述人员头部检测框各自的中心点生成实际中心点集。
[0018]优选地：分别获取若干所述人员头部检测框各自的左上角像素坐标以及右下角像素坐标；根据所述左上角像素坐标以及所述右下角像素坐标计算获得若干所述人员头部检测框各自的中心点。
[0019]优选地：所述人员头部检测框的中心点由下式计算获得：
[0020]centerx＝(x1+x2)/2
[0021]centery＝(y1+y2)/2
[0022]式中：centerx、centery为中心点坐标，x1、y1为检测框左上角像素坐标，x2、y2为检测框右下角像素坐标。
[0023]优选地：根据前一帧图片的目标检测结果采用卡尔曼滤波算法预测获得当前帧的目标预测结果。
[0024]优选地：所述采用卡尔曼滤波算法预测获得当前帧的目标预测结果，包括：
[0025]定义第i帧的某个人员头部检测框中心的状态向量X
i
和协方差P
i
，由下式给出：
[0026]X
i
＝(cx,cy,v
cx
,v
cy
)
T
[0027]P
i
＝Cov(X
i
,X
i
)
[0028]式中，X
i
为4维的列向量，(cx,cy)是检测框中心横纵坐标，(v
cx
,v
cy
)是检测框中心的运动速度；
[0029]给出该人员头部检测框中心的状态向量X
i
在第i+1帧中的预测状态向量和协方差由下式给出：
[0030][0031][0032]式中，矩阵F为状态转移矩阵，矩阵Q为系统误差；
[0033]根据预测状态向量得到预测观测向量和其协方差由下式给出：
[0034][0035][0036]式中，矩阵F为观测转移矩阵。
[0037]优选地：所述采用目标欧式距离作为匹配准则，包括：
[0038]某个预测中心点与所有所述实际中心点中欧式距离中最小的所述实际中心点匹配且所述欧式距离小于人员头部检测框宽度或者长度的一半。
[0039]优选地：所述基于所述实际中心点与所述预测中心点的匹配结果进行目标跟踪，包括：
[0040]假设第i帧中的某检测框实际中心点X
i
，预测得到第i+1帧中该检测框预测中心点的状态向量为其协方差为预测观察向量为通过目标匹配与第i+1帧中的已检测点Z
i+1
匹配，同时假设目标检测的误差为R；
[0041]第i+1帧中该匹配检测框中点的状态向量X
i+1
和协方差P
i+1
由下式给出：
[0042][0043][0044]其中，矩阵K为卡尔曼增益矩阵，计算方式为：
[0045][0046]一种实时多目标跟踪系统，该系统包括：
[0047]目标检测结果获取单元，用于将实际当前帧图片输入目标检测模型，得到实际当前帧的目标检测结果；所述目标检测结果包括若干人员头部检测框；
[0048]实际中心点集生成单元，用于获取若干所述人员头部检测框各自的中心点生成实际中心点集；
[0049]目标预测结果获取单元，用于根据前一帧图片的目标检测结果预测获得当前帧的目标预测结果，所述目标预测结果包括若干人员头部预测框；
[0050]预测中心点集生成单元，用于获取若干所述人员头部预测框各自的中心点生成预测中心点集；
[0051]匹配单元，用于采用目标欧式距离作为匹配准则，将所述实际中心点集中包括的各个实际中心点与所述预测中心点集包括的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实时多目标跟踪方法，其特征在于，所述方法包括：将实际当前帧图片输入目标检测模型，得到实际当前帧的目标检测结果；所述目标检测结果包括若干人员头部检测框；获取若干所述人员头部检测框各自的中心点生成实际中心点集；根据前一帧图片的目标检测结果预测获得当前帧的目标预测结果，所述目标预测结果包括若干人员头部预测框；获取若干所述人员头部预测框各自的中心点生成预测中心点集；采用目标欧式距离作为匹配准则，将所述实际中心点集中包括的各个实际中心点与所述预测中心点集包括的各个预测中心点进行一一匹配；基于所述实际中心点与所述预测中心点的匹配结果进行目标跟踪。2.根据权利要求1所述的实时多目标跟踪方法，其特征在于，所述目标检测模型包括在Tensorrt加速框架下的Yolov4
‑
tiny目标检测模型。3.根据权利要求1所述的实时多目标跟踪方法，其特征在于，分别获取若干所述人员头部检测框的置信度分数；获取所述置信度分数大于置信度阈值的若干所述人员头部检测框各自的中心点生成实际中心点集。4.根据权利要求1所述的实时多目标跟踪方法，其特征在于，分别获取若干所述人员头部检测框各自的左上角像素坐标以及右下角像素坐标；根据所述左上角像素坐标以及所述右下角像素坐标计算获得若干所述人员头部检测框各自的中心点。5.根据权利要求4所述的实时多目标跟踪方法，其特征在于，所述人员头部检测框的中心点由下式计算获得：centerx＝(x1+x2)/2centery＝(y1+y2)/2式中：centerx、centery为中心点坐标，x1、y1为检测框左上角像素坐标，x2、y2为检测框右下角像素坐标。6.根据权利要求1所述的实时多目标跟踪方法，其特征在于，根据前一帧图片的目标检测结果采用卡尔曼滤波算法预测获得当前帧的目标预测结果。7.根据权利要求6所述的实时多目标跟踪方法，其特征在于，所述采用卡尔曼滤波算法预测获得当前帧的目标预测结果，包括：定义第i帧的某个人员头部检测框中心的状态向量X
i
和协方差P
i
，由下式给出：X
i
＝(cx,cy,v
cx
,v
cy
)
T
P
i
＝Cov(X
...

【专利技术属性】
技术研发人员：王鑫，陈昌金，罗凡程，牟俊杰，何枭，赵誉杰，
申请(专利权)人：中国兵器装备集团自动化研究所有限公司，
类型：发明
国别省市：