一种基于计算机视觉的巴士流量统计及乘客行为检测方法技术

本发明专利技术提供了一种基于计算机视觉的巴士流量统计与乘客行为检测方法，主要包括以下部分：基于YOLOv5的乘客检测；基于YOLOv5和IOU的乘客行为检测；基于deepsort的乘客多目标跟踪；基于目标关联的乘客行为记录；基于关键区域坐标的乘客流量统计。本发明专利技术通过YOLOv5目标检测模型进行乘客识别，旨在高帧率视频中实时高效地识别乘客并提取特征，并通过YOLOv5的乘客识别与行为检测结果的IOU判断乘客是否出现特定行为。本发明专利技术利用deepsort进行乘客多目标跟踪，在准确进行乘客跟踪的基础上提高遮挡情况下的目标追踪效果，并结合行动轨迹及关键坐标，实现精准到像素级的乘客跨区感知以进行巴士乘客流量统计。士乘客流量统计。士乘客流量统计。

【技术实现步骤摘要】
一种基于计算机视觉的巴士流量统计及乘客行为检测方法


[0001]本专利技术属于计算机视觉领域，具体而言，属于目标识别与多目标跟踪领域。

技术介绍

[0002][0003]传统的公交车客流量统计主要依靠IC卡刷卡计数、主被动红外式检测以及门道红外光栅检测等方式进行，但仍存在部分缺陷，如IC卡刷卡计数无法统计投币、微信扫码乘客的流量，主被动红外式检测会因多因素干扰人体红外波段导致检测误差大，门道红外光栅检测在国内拥挤的上下车场景中经常因遮挡导致流量统计不准，且流量统计设备需要额外的维护成本。传统的公交车乘客管理(防逃票等)主要通过人工进行，在客流量大、乘客密集的情况下难以顾及所有乘客，可靠性波动大。
[0004]计算机视觉为当下的研究热点之一，其试图建立能够从图像或者多维数据中获取
‘
信息
’
的人工智能系统，随着计算机运算能力指数级增长以及机器学习的兴起取得实际的应用进展，形成图像分类、目标检测、图像分割等不同的任务，并广泛用于人脸识别、视频检测、图片识别分析、辅助驾驶、工业视觉及医疗影像诊断等领域。目前公交车内监控全覆盖，为计算机视觉的应用提供了温床，对公交车客流量统计与乘客行为识别具有很强的亲和性。目前已出现YOLO、Fast RCNN、SSD等高效的目标检测模型以及deepsort、strongsort等目标跟踪算法，可以提供实时、低成本、非侵入式的视频识别，为公交车流量统计及乘客行为检测提供了理论及实践基础。
[0005]综上，本专利技术利用目前先进的目标检测与多目标跟踪技术，旨在实现接入门槛低、实时高效、低成本、非侵入式的公交车客流量统计以及乘客行为识别，以支持高客流量下的乘客在线统计管理，为智能公交提供可选的技术支持。

技术实现思路

[0006]本专利技术为解决传统的客流量统计以及乘客行为管理措施难以满足智能公交的需求的问题，提出一种基于计算机视觉的巴士流量统计及乘客行为检测方法，旨在提供实时、低成本、非侵入式的流量统计以及乘客行为检测。
[0007]一种基于计算机视觉的巴士流量统计及乘客行为检测方法，包括：
[0008]S1、基于YOLOv5的乘客检测，高效提取乘客特征，精准进行乘客识别；
[0009]S2、基于YOLOv5和IOU的乘客行为检测，基于乘客检测及行为检测结果，通过IOU对乘客与行为进行关联；
[0010]S3、基于deepsort的乘客多目标跟踪，使用乘客检测YOLOv5模型作为检测器为deepsort提供目标跟踪依据；
[0011]S4、基于目标关联的乘客行为记录，利用deepsort的中间态对乘客行为与具体乘客进行关联，并进行实时记录；
[0012]S5、基于关键区域坐标的乘客流量统计，通过对车门等关键区域进行预画线，结合
乘客轨迹，进行精准的流量统计。
[0013]进一步的，所述S1包括：
[0014]S11、对训练用数据集进行降噪、裁剪等预处理；
[0015]S12、基于S11中预处理后得到的数据集，对图片进行类型区分打标，获取含有标签的图片数据集；
[0016]S13、基于S12中得到的含标签数据集，训练得乘客及行为检测YOLOv5模型；
[0017]S14、基于S13中得到的乘客及乘客行为检测YOLOv5模型，实时拉取巴士视频流数据，对每帧图像进行预处理后，通过YOLOv5模型进行乘客及行为检测，识别结果用于deepsort目标跟踪以及行为关联。
[0018]进一步的，所述S12中对图片进行类型区分打标包括对不同类型的样本进行标签框选：
[0019]其一为乘客样本，需要在不同角度、年龄、性别、体型等维度进行采样，并形成足够规模的样本集；
[0020]其二为行为样本，该类样本主要包括购票、摔倒、行窃等行为的采样；同时需要考虑购票的不同形式，主要包括投币、刷卡、手机扫码等形式，并形成足够规模的样本集。
[0021]进一步的，所述S2包括：
[0022]基于S14中乘客及行为检测YOLOv5模型的识别结果，乘客识别结果集为S
p
，行为识别结果集为S
e
，对于任意a∈S
p
，b∈S
e
，其IOU计算公式如下：
[0023][0024]假设a的左上右下坐标分别为(x
a1
,y
a1
)(x
a2
,y
a2
)，b的左上右下坐标分别为(x
b1
,y
b1
)(x
b2
,y
b2
)，取相交部分左上坐标为(x
l
,y
l
)，则：
[0025]x
l
＝max(x
a1
,x
b1
)y
l
＝max(y
a1
,y
b1
)
[0026]同理，相交部分右下坐标为(x
r
,y
r
)，其中：
[0027]x
r
＝min(x
a2
,x
b2
)y
r
＝min(y
a2
,y
b2
)
[0028]相交部分面积S
I
为：
[0029]S
I
＝|x
r
‑
x
l
+1|*|y
r
‑
y
l
+1|
[0030]同时，a与b的面积S
a
与S
b
分别为：
[0031]S
a
＝|x
a2
‑
x
a1
+1|*|y
a2
‑
y
a1
+1|
[0032]S
b
＝|x
b2
‑
x
b1
+1|*|y
b2
‑
y
b1
+1|
[0033]a与b相并部分面积为：
[0034]S
U
＝S
a
+S
b
‑
S
I
[0035]最终可得IOU为：
[0036][0037]当IOU
(a,b)
大于预设阈值τ时，认为行为b是乘客a产生的，阈值τ根据不同行为样本对非乘客图像的依赖程度决定，若购票行为的检测依赖刷卡机，阈值τ会相对低；而跌倒行为的检测不依赖非乘客图像，阈值τ则会相对高；
[0038]若某行为c与多个乘客有交集，且其IOU都大于阈值τ，则认为行为c与IOU
(p,c)
最大
的乘客p关联。
[0039]进一步的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于计算机视觉的巴士流量统计及乘客行为检测方法，其特征在于，包括：S1、基于YOLOv5的乘客检测，高效提取乘客特征，精准进行乘客识别；S2、基于YOLOv5和IOU的乘客行为检测，基于乘客检测及行为检测结果，通过IOU对乘客与行为进行关联；S3、基于deepsort的乘客多目标跟踪，使用乘客检测YOLOv5模型作为检测器为deepsort提供目标跟踪依据；S4、基于目标关联的乘客行为记录，利用deepsort的中间态对乘客行为与具体乘客进行关联，并进行实时记录；S5、基于关键区域坐标的乘客流量统计，通过对车门等关键区域进行预画线，结合乘客轨迹，进行精准的流量统计。2.根据权利要求1所述的一种基于计算机视觉的巴士流量统计及乘客行为检测方法，其特征在于，所述S1包括：S11、对训练用数据集进行降噪、裁剪等预处理；S12、基于S11中预处理后得到的数据集，对图片进行类型区分打标，获取含有标签的图片数据集；S13、基于S12中得到的含标签数据集，训练得乘客及行为检测YOLOv5模型；S14、基于S13中得到的乘客及乘客行为检测YOLOv5模型，实时拉取巴士视频流数据，对每帧图像进行预处理后，通过YOLOv5模型进行乘客及行为检测，识别结果用于deepsort目标跟踪以及行为关联。3.根据权利要求2所述的一种基于计算机视觉的巴士流量统计及乘客行为检测方法，其特征在于，所述S12中对图片进行类型区分打标包括对不同类型的样本进行标签框选：其一为乘客样本，需要在不同角度、年龄、性别、体型等维度进行采样，并形成足够规模的样本集；其二为行为样本，该类样本主要包括购票、摔倒、行窃等行为的采样；同时需要考虑购票的不同形式，主要包括投币、刷卡、手机扫码等形式，并形成足够规模的样本集。4.根据权利要求3所述的一种基于计算机视觉的巴士流量统计及乘客行为检测方法，其特征在于，所述S2包括：基于S14中乘客及行为检测YOLOv5模型的识别结果，乘客识别结果集为S
p
，行为识别结果集为S
e
，对于任意a∈S
p
，b∈S
e
，其IOU计算公式如下：假设a的左上右下坐标分别为(x
a1
，y
a1
)(x
a2
，y
a2
)，b的左上右下坐标分别为(x
b1
，y
b1
)(x
b2
，y
b2
)，取相交部分左上坐标为(x
l
，y
l
)，则：x
l
＝max(x
a1
，x
b1
)y
l
＝max(y
a1
，y
b1
)同理，相交部分右下坐标为(x
r
，y
r
)，其中：x
r
＝min(x
a2
，x
b2
)y
r
＝min(y
a2
，y
b2
)相交部分面积S
I
为：S
I
＝|x
r
‑
x
l
+1|*|y
r
‑
y
l
+1|同时，a与b的面积S
a
与S
b
分别为：
S
a
＝|x
a2
‑
x
a1
+1|*|y
a2
‑
y
a1
+1|S
b
＝|x
b2
‑
x
b1
+1|*|y
b2
‑
y
b1
+1|a与b相并部分面积为：S
U
＝S
a
+S
b
‑
S
I
最终可得IOU为：当IOU
(a,b
)大于预设阈值τ时，认为行为b是乘客a产生的，阈值τ根据不同行为样本对非乘客图像的依赖程度决定，若购票行为的检测依赖刷卡机，阈值τ会相对低；而跌倒行为的检测不依赖非乘客图像，阈值τ则会相对高；若某行为c与多个乘客有交集，且其IOU都大于阈值τ，则认为行为c与IOU
(p,c)
最大的乘客p关联。5.根据权利要求4所述的一种基于计算机视觉的巴士流量统计及乘客行为检测方法，其特征在于，所述S3包括：将S1中的YOLOv5乘客检测模型接入deepsort作为检测器，以满足deepsort所需的目标检测需求，为使deepsort仅能感知乘客识别结果，需在YOLOv5检测模型与deepsort模型接口处过滤乘客行为识别信息；在YOLOv5乘客及行为模型训...

【专利技术属性】
技术研发人员：鹿轶轩，高瑞，王先农，俞俊，刘健，谭湘，朱东杰，
申请(专利权)人：哈尔滨工业大学威海，
类型：发明
国别省市：