一种基于行人和头部检测的多行人跟踪方法及装置制造方法及图纸

本发明专利技术提供了一种基于行人和头部检测的多行人跟踪方法及装置，其中的方法包括：首先分别采用行人检测器和头部定位算法定位出图像中的行人和头部，得到行人检测框和头部检测框；其次设计一种关联模型，对同一行人的头部检测框和行人检测框进行关联，得到新的行人检测框集合；然后通过将新的行人检测框集合转化成头部检测框，采用头部跟踪方式进行多行人跟踪；最后将得到的头部轨迹转化成行人轨迹。本发明专利技术提出的方法解决了拥挤场景中因为遮挡导致行人漏检误检等问题，可以有效因局部遮挡导致行人检测框漏检，有效地改善了拥挤场景中多行人检测质量，提升了跟踪的准确度。在对实际监控数据集的定量和定性测试中，都佐证了本发明专利技术所提方法的有效性。明所提方法的有效性。明所提方法的有效性。

【技术实现步骤摘要】
一种基于行人和头部检测的多行人跟踪方法及装置


[0001]本专利技术涉及监控目标跟踪
，尤其涉及一种基于行人和头部检测的多行人跟踪方法及装置。

技术介绍

[0002]多目标跟踪的任务是给定一段视频，输出视频中所有出现的目标的轨迹。跟踪目标的类别可以是行人、车辆和动物等。行人是非刚体，有着可变形等性质，在跟踪过程中容易产生形变等问题，研究行人跟踪对于对目标跟踪而言是较好的目标例子。其次监控场景中行人跟踪有着广泛的应用，可应用于多媒体分析、视觉监控和体育分析等。作为计算机视觉领域中的中级任务，多行人跟踪一直是研究学者们研究的重点。
[0003]基于检测的多行人跟踪是目前多行人跟踪领域最主流的框架，其采用行人检测器对输入视频图像帧进行行人检测，然后提取行人的外观特征进行数据关联，并得到最终的运动轨迹。简单场景中，采用最先进的行人检测器对场景中的行人可以较好的定位，使得跟踪器取得较好的性能。但是在拥挤场景中，行人之间存在大量遮挡，使得被遮挡的行人难以检测出来，进而影响了场景中整体的检测性能，最终导致跟踪准确率不高。因此针对拥挤场景的检测定位对于多行人跟踪准确率来说具有十分重要作用。
[0004]相关研究学者通过融入头部定位来提高多目标跟踪准确率。有相关研究者采用行人检测器和头部检测器分别对数据集图像进行检测，最终得到某一帧中两种不同检测结果集合。然后对于这两种不同的检测集合，采用两条不同的网络流进行关联。另外，有作者采用基于图模型的数据关联方法对行人检测结果和头部检测结果进行关联，然后采用Frankr/>‑
Wolfe算法来求得最优解。其他研究中考虑加入额外的检测信息，即头部检测结果，并将数据关联问题用图模型建模，用最小网络最大流进行建模。此外，还有作者在行人检测结果之上，增加了额外的头部检测结果。然后分别采用SORT跟踪器对这两种不同检测结果进行跟踪，最后融合这两种跟踪结果得到最终轨迹。虽然他们都利用了头部定位信息，但是他们都是讲头部定位和行人检测视为两个平行的检测结果，分别进行跟踪，最后对这两个跟踪结果进行融合(相关文献见实审参考资料)。现有技术中的上述方法，虽然在一定程度上能解决遮挡问题，但是增加了跟踪器处理时间，难以满足实时性需求。此外，拥挤场景中，行人检测器有很多误检，这样导致基于全身检测器的跟踪结果也存在很多误跟问题，对最终跟踪结果带来一定影响。

技术实现思路

[0005]本专利技术提出一种基于行人和头部检测的多行人跟踪方法及装置，用于解决或者至少部分解决现有技术中存在的跟踪准确率不高的技术问题。
[0006]为了解决上述技术问题，本专利技术第一方面公开了一种基于行人和头部检测的多行人跟踪方法，包括：
[0007]S1：分别利用行人检测器和头部跟踪器对场景目标进行定位，得到行人检测结果
和头部检测结果；
[0008]S2：采用关联融合模式将同一行人的头部检测框和行人检测框进行融合得到新的行人检测框集合；
[0009]S3：根据行人检测框与头部检测框之间的关系，将新的行人检测框集合中行人检测框转化为头部检测框，转化后得到的头部检测框构成新的头部检测框集合；
[0010]S4：采用头部跟踪方法，对新的头部检测框集合中相邻帧的头部检测框的数据进行关联，得到头部轨迹集合；
[0011]S5：根据行人检测框与头部检测框之间的关系，将头部轨迹集合中每条头部轨迹上的头部检测框转化为行人检测框，得到最终的行人轨迹。
[0012]在一种实施方式中，步骤S1包括：
[0013]S1.1：采用行人检测器对视频图像帧进行检测，获得每帧行人检测结果，行人检测结果包括行人检测框；
[0014]S1.2：将行人检测器在CrowdHuman数据集上训练，训练好后的行人检测器作为头部跟踪器，通过头部跟踪器对视频图像进行逐帧检测，获得每帧头部检测结果，头部检测结果包括头部检测框。
[0015]在一种实施方式中，步骤S2包括：
[0016]S2.1：根据每一个行人检测框与头部检测框的空间位置距离、行人检测框与头部检测框之间的覆盖率，得到匹配代价；
[0017]S2.2：基于匹配代价，采用匈牙利匹配算法对行人检测框与头部检测框进行匹配，得到匹配结果，并根据匹配结果对头部检测框和行人检测框进行融合，得到新的行人检测框集合。
[0018]在一种实施方式中，步骤S2.1中匹配代价的计算方式为：
[0019]Cost
f
＝γ*Cost
d
+(1
‑
γ)*Cost
IOU
,
[0020]其中，Cost
f
为行人检测框与头部检测框之间的匹配代价，γ为权衡因子， Cost
d
为行人检测框与头部检测框的空间位置距离，Cost
IOU
为行人检测框与头部检测框之间的覆盖率，Cost
d
和Cost
IOU
计算公式分别如下：
[0021][0022][0023]与分别为第i个行人检测框和第j个头部检测框的y坐标，BB(head) 与BB(body)分别代表头部检测框和行人检测框。
[0024]在一种实施方式中，步骤S2.2包括：
[0025]S2.2.1：根据匈牙利匹配算法的最优解得到头部检测框与行人检测框一一对应的匹配对，对于匹配到头部检测框的行人检测框，将对应的行人检测框加入新的行人检测框集合；
[0026]S2.2.2：对于未匹配到头部检测框的行人检测框，如果置信度超过第一阈值，则对应的行人检测框加入新的行人检测框集合；
[0027]S2.2.3：对于未匹配到行人检测框的头部检测框，如果置信度超过第二阈值，则根
据行人检测框与头部检测框之间的关系构造出与之对应的行人检测框，然后将构造后的行人检测框加入新的行人检测框集合。
[0028]在一种实施方式中，步骤S3中，行人检测框与头部检测框之间的关系为：
[0029][0030][0031][0032][0033]其中为第j个行人检测框的位置信息，为第i个头部检测框的位置信息，其中为行人检测框的坐标信息，为行人检测框的宽和高信息，为头部检测框的坐标信息，为头部检测框的宽度和高度，C1和C2为参数，分别表示行人检测框与头部检测框的宽的比例和高的比例，Z和β为线性回归模型的参数，其中Z表示行人检测框坐标与头部检测框坐标的比例关系，β为偏置。
[0034]在一种实施方式中，S4包括：
[0035]S4.1：根据当前帧的头部检测框与目标轨迹在上一帧的头部检测框的覆盖率、当前帧的头部检测框与目标轨迹在上一帧的头部检测框之间的尺寸关系，得到两个头部检测框之间的匹配代价；
[0036]S4.2：基于匹配代价，采用匈牙利匹配算法对当前帧的头部检测框与目标轨迹在上一帧的头部检测框进行匹配，得到匹配结果，并根据匹配结果得到头部轨迹集合。
[0037]在一种实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于行人和头部检测的多行人跟踪方法，其特征在于，包括：S1：分别利用行人检测器和头部跟踪器对场景目标进行定位，得到行人检测结果和头部检测结果；S2：采用关联融合模式将同一行人的头部检测框和行人检测框进行融合得到新的行人检测框集合；S3：根据行人检测框与头部检测框之间的关系，将新的行人检测框集合中行人检测框转化为头部检测框，转化后得到的头部检测框构成新的头部检测框集合；S4：采用头部跟踪方法，对新的头部检测框集合中相邻帧的头部检测框的数据进行关联，得到头部轨迹集合；S5：根据行人检测框与头部检测框之间的关系，将头部轨迹集合中每条头部轨迹上的头部检测框转化为行人检测框，得到最终的行人轨迹。2.如权利要求1所述的基于行人和头部检测的多行人跟踪方法，其特征在于，步骤S1包括：S1.1：采用行人检测器对视频图像帧进行检测，获得每帧行人检测结果，行人检测结果包括行人检测框；S1.2：将行人检测器在CrowdHuman数据集上训练，训练好后的行人检测器作为头部跟踪器，通过头部跟踪器对视频图像进行逐帧检测，获得每帧头部检测结果，头部检测结果包括头部检测框。3.如权利要求1所述的基于行人和头部检测的多行人跟踪方法，其特征在于，步骤S2包括：S2.1：根据每一个行人检测框与头部检测框的空间位置距离、行人检测框与头部检测框之间的覆盖率，得到匹配代价；S2.2：基于匹配代价，采用匈牙利匹配算法对行人检测框与头部检测框进行匹配，得到匹配结果，并根据匹配结果对头部检测框和行人检测框进行融合，得到新的行人检测框集合。4.如权利要求3所述的基于行人和头部检测的多行人跟踪方法，其特征在于，步骤S2.1中匹配代价的计算方式为：Cost
f
＝γ*Cost
d
+(1
‑
γ)*Cost
IOU
，其中，Cost
f
为行人检测框与头部检测框之间的匹配代价，γ为权衡因子，Cost
d
为行人检测框与头部检测框的空间位置距离，Cost
IOU
为行人检测框与头部检测框之间的覆盖率，Cost
d
和Cost
IOU
计算公式分别如下：计算公式分别如下：计算公式分别如下：与分别为第i个行人检测框和第j个头部检测框的y坐标，BB(head)与BB(body)分别代表头部检测框和行人检测框。5.如权利要求3所述的基于行人和头部检测的多行人跟踪方法，其特征在于，步骤S2.2包括：
S2.2.1：根据匈牙利匹配算法的最优解得到头部检测框与行人检测框一一对应的匹配对，对于匹配到头部检测框的行人检测框，将对应的行人检测框加入新的行人检测框集合；S2.2.2：对于未匹配到头部检测框的行人检测框，如果置信度超过第一阈值，则对应的行人检测框加入新的行人检测框集合；S2.2.3：对于未匹配到行人检测框的头部检测框，如果置信度超过第二阈值，则根据行人检测框与头部检测框之间的关系构造出与之对应的行人检测框，然后将构造后的行人检测框加入新的行人检测框集合。...

【专利技术属性】
技术研发人员：陈军，孙志宏，梁超，陈金，柴笑宇，王晓芬，叶钰，高浩，胡皓威，
申请(专利权)人：武汉大学，
类型：发明
国别省市：