一种基于多目标跟踪的人流量统计方法技术

本发明专利技术公开了一种基于多目标跟踪的人流量统计方法，该人流量统计方法包括：获取当前场景的视频，并在每个视频帧中划出分界线；利用训练好的多目标跟踪器对视频中的行人进行定位检测以及特征提取，多目标跟踪器输出行人边界框的坐标以及行人的特征信息；基于行人的特征信息和边界框进行级联，以实现行人匹配；根据匹配成功后行人边界框的下边线的坐标生成行人的轨迹；判断行人的轨迹是否穿越分界线，若是，判断行人的穿越方向，若穿越方向为进，则人数加一；若穿越方向为出，人数减一，实现人流量的统计。本发明专利技术基于行人的特征信息进行级联，以实现行人匹配，使得在目标匹配的时候提高了性能，减少了因为目标重叠而造成的误差。差。差。

【技术实现步骤摘要】
一种基于多目标跟踪的人流量统计方法


[0001]本专利技术涉及深度学习
，具体涉及一种基于多目标跟踪的人流量统计方法。

技术介绍

[0002]人流量统计可以应用在商场、超市、景区等人流量较大的公共场所。它是一项方便对公共场所人流密度进行公共服务和安全等方面进行分析的基础技术。传统的人流量统计方法主要基于传感器实现，此类方法在人流量较大的情况下，统计的误差较大。随着监控视频的普及，现有的人流量统计方法主要通过计算机视觉技术进行行人计数。然而，此类方法在行人密集的情况下，检测出来的多个行人框可能会互相受到干扰，从而造成计数误差。此外，一些人流量统计方法仅单纯计数而并无方向统计。

技术实现思路

[0003]本专利技术的目的是为了克服以上现有技术存在的不足，提供了一种基于多目标跟踪的人流量统计方法，其利用多目标跟踪器输出行人的特征信息，基于行人的特征信息进行级联，以实现行人匹配，减少了因为行人重叠而造成的误差。
[0004]本专利技术的目的通过以下的技术方案实现：
[0005]一种基于多目标跟踪的人流量统计方法包括：
[0006]S1，获取当前场景的视频，并在每个视频帧中划出分界线；
[0007]S2，利用训练好的多目标跟踪器对视频中的行人进行定位检测以及特征提取，多目标跟踪器输出行人边界框的坐标以及行人的特征信息；
[0008]S3，基于行人的特征信息和边界框进行级联，以实现行人匹配；
[0009]S4，根据匹配成功后行人边界框的下边线的坐标生成行人的轨迹；
[0010]S5，判断行人的轨迹是否穿越分界线，若是，则执行步骤S6；
[0011]S6，判断行人的穿越方向，若穿越方向为进，则人数加一；若穿越方向为出，人数减一，实现人流量的统计。
[0012]优选地，步骤S3包括：
[0013]S31，计算当前帧的行人的特征信息和上一帧的行人历史特征信息的余弦距离；若所述余弦距离小于第一预设阈值，则将当前帧的行人边界框与上一帧中的行人边界框进行关联；若所述余弦距离大于第一预设阈值，则执行步骤S32；
[0014]S32，利用卡尔曼滤波器通过上一帧的边界框坐标预测出当前帧的边界框坐标；
[0015]S33，计算由多目标跟踪器检测出的当前帧的边界框以及所述预测出的当前帧的边界框坐标的交并比IoU；若交并比IoU大于第二预设阈值，则将检测出的当前帧的边界框与上一帧的行人边界框进行关联；
[0016]S34，重复执行步骤S31
‑
步骤S33，直至所有行人都关联完毕，完成行人匹配。
[0017]优选地，步骤S33之后包括：若交并比IoU小于第二预设阈值，则判断检测出的当前
帧的边界框的置信度是否大于预设的新目标阈值；若是，则创建一个新目标行人，其中，置信度为多目标跟踪器输出的特征图经过sigmoid函数的输出概率。
[0018]优选地，步骤S6包括：计算行人的轨迹向量v1与划出的分界线v2的夹角θ
′
；若所述夹角θ
′
小于180度，则判断穿越方向为出；若所述夹角θ
′
大于180度，则穿越方向为进，其中，行人的轨迹向量v1为行人穿越分界线时，两帧或者多帧的坐标点连成的线。
[0019]优选地，夹角θ
′
的计算公式为：
[0020][0021]行人的轨迹向量v1与分界线v2的叉积v1×
v2＜0，则θ
′
＝arccosθ；如果v1×
v2＞0，则θ
′
＝360
°‑
arccosθ。
[0022]优选地，步骤S4包括：
[0023]根据匹配成功后行人边界框坐标得到行人边界框的下边线中点坐标，根据每一帧的下边线中点坐标连线，组成行人的轨迹；
[0024]其中，行人边界框坐标为[x，y，w，h]，行人边界框的下边线中点坐标为(x+w/2，y)；x，y为边界框的左下角坐标，w和h分别为边界框的宽和高。
[0025]优选地，进行行人匹配前，判断当前目标是否因为遮挡或者离开监控画面而丢失轨迹超过预设帧数，则丢弃掉当前目标的边界框。
[0026]优选地，若检测出的当前帧的边界框的置信度小于预设的新目标阈值，则丢弃当前的行人边界框。
[0027]优选地，多目标跟踪器为轻量化模型yolov5s的21层结构，轻量化模型yolov5s的21层结构分别连接一个检测头分支及一个特征提取头分支，其中提取的特征维度设置为64。
[0028]优选地，多目标跟踪器在训练过程中采用Adam优化器，优化器超参数beta1、beta2分别为0.99和0.999；设置初始学习率为1e
‑
4，在训练集上使用批大小设置为16训练30个轮次，在最后的10个轮次学习率衰减为1e
‑
5。
[0029]本专利技术相对于现有技术具有如下优点：
[0030]本专利技术利用多目标跟踪器对视频中的行人进行定位检测以及特征提取，并一次性输出行人的边界框和行人的特征信息，基于行人的特征信息和边界框进行级联，以实现行人匹配；而行人的特征信息使得在目标匹配的时候提高了性能，减少了因为目标(行人)重叠而造成的误差；在检测出行人的轨迹之后，通过计算行人轨迹与分界线的角度来确定行人轨迹的方向，实现人流量和人流方向统计。
附图说明
[0031]构成本申请的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：
[0032]图1为本专利技术的基于多目标跟踪的人流量统计方法的流程示意图。
[0033]图2为本专利技术的基于行人的特征信息和边界框进行级联的流程示意图。
具体实施方式
[0034]下面结合附图和实施例对本专利技术作进一步说明。
[0035]图1为本专利技术的基于多目标跟踪的人流量统计方法的流程示意图。如图1所示，一种基于多目标跟踪的人流量统计方法包括：
[0036]S1，获取当前场景的视频，并在每个视频帧中划出分界线；根据摄像头所应用的场景，获取摄像头拍摄的当前场景的视频。对每一帧视频都划出一条分界线，此分界线可将视频画面分割为两部分；据实际场景，可自定义分割线位置，可以分割成左右、上下或者其他方向的两部分。如：从行人由左区域走向右区域，则可判断其行进方向，进一步推断出进或者出。
[0037]S2，利用训练好的多目标跟踪器对视频中的行人进行定位检测以及特征提取，多目标跟踪器输出行人边界框的坐标以及行人的特征信息；
[0038]在本实施例，多目标跟踪器为轻量化模型yolov5s的21层结构，轻量化模型yolov5s的21层结构分别连接一个检测头分支及一个特征提取头分支，其中提取的特征维度设置为64。多目标跟踪器在训练过程中采用Adam优化器，优化器超参数beta1、beta2分别为0.99和0.999；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多目标跟踪的人流量统计方法，其特征在于，包括：S1，获取当前场景的视频，并在每个视频帧中划出分界线；S2，利用训练好的多目标跟踪器对视频中的行人进行定位检测以及特征提取，多目标跟踪器输出行人边界框的坐标以及行人的特征信息；S3，基于行人的特征信息和边界框进行级联，以实现行人匹配；S4，根据匹配成功后行人边界框的下边线的坐标生成行人的轨迹；S5，判断行人的轨迹是否穿越分界线，若是，则执行步骤S6；S6，判断行人的穿越方向，若穿越方向为进，则人数加一；若穿越方向为出，人数减一，实现人流量的统计。2.根据权利要求1所述的基于多目标跟踪的人流量统计方法，其特征在于，步骤S3包括：S31，计算当前帧的行人的特征信息和上一帧的行人历史特征信息的余弦距离；若所述余弦距离小于第一预设阈值，则将当前帧的行人边界框与上一帧中的行人边界框进行关联；若所述余弦距离大于第一预设阈值，则执行步骤S32；S32，利用卡尔曼滤波器通过上一帧的边界框坐标预测出当前帧的边界框坐标；S33，计算由多目标跟踪器检测出的当前帧的边界框以及所述预测出的当前帧的边界框坐标的交并比IoU；若交并比IoU大于第二预设阈值，则将检测出的当前帧的边界框与上一帧的行人边界框进行关联；S34，重复执行步骤S31
‑
步骤S33，直至所有行人都关联完毕，完成行人匹配。3.根据权利要求2所述的基于多目标跟踪的人流量统计方法，其特征在于，步骤S33之后包括：若交并比IoU小于第二预设阈值，则判断检测出的当前帧的边界框的置信度是否大于预设的新目标阈值；若是，则创建一个新目标行人，其中，置信度为多目标跟踪器输出的特征图经过sigmoid函数的输出概率。4.根据权利要求1所述的基于多目标跟踪的人流量统计方法，其特征在于，步骤S6包括：计算行人的轨迹向量v1与划出的分界线v2的夹角θ
′
；若所述夹角θ
′
小于180度，则判断穿越方向为出；若所述夹角θ
′
...

【专利技术属性】
技术研发人员：刘振锋，
申请(专利权)人：珠海数字动力科技股份有限公司，
类型：发明
国别省市：