基于深度图像的公交车客流实时统计方法技术

本发明专利技术涉及一种基于深度图像信息的公交车客流量实时统计方法。所述统计方法包括以下步骤：深度数据采集，采集前后门乘客上下车深度视频信息；深度视频信息预处理，深度信息格式转换，图像平滑去噪；深度视频背景建模提取前景帧；极值点检测；筛选符合人头的极值点；对检测到的目标进行跟踪，提取轨迹信息；目标轨迹方向判断；客流计数统计。本发明专利技术克服了传统客流仪在乘客客流量较大、光照不良时准确率低的缺点，而且克服了对数据依赖性强，对硬件要求较高的不足。

Real time statistics method of bus passenger flow based on depth image

【技术实现步骤摘要】
基于深度图像的公交车客流实时统计方法
：本专利技术涉及图像的模式识别
，具体涉及基于深度图像的公交车客流量实时统计方法。
技术介绍
：目前市场上大部分智能视频客流量统计方法涉及的技术包括视频预处理、图像处理、模式识别以及机器学习和深度学习等，利用垂直向下的摄像头来对视频中人的头部或者肩部进行检测识别和跟踪，最后跟踪运动轨迹判断客流量。目前国内公交客流统计方法主要包括：公交IC卡统计方法，存在的问题是公交车IC卡计费方式不同会导致客流仪计数与实际客流误差较大；公交踏板接触式方法，存在的问题是在上下车人数较多时，多人踩踏导致客流仪误差大，并且该类接触式检测设备易出现故障，维修成本较高；红外传感式方法，存在的问题是同时上下车漏检率高，标定复杂，并且红外易受到光照影响；视频图像分析方法，该方法中根据不同摄像机类型，采用不同的算法。该方法通过“点人头”的方式视频图像采集使用传统二维摄像机，在光照不良的情况下，视频数据质量较差，导致客流仪准确度大大下降。而采用RGB-D的三维数据，存在视频数据大，占用资源多，实时性对硬件要求较高等问题。采用机器学习、深度学习方法在检测和识别方面需要大量的数据训练网络，可移植性差，并且需要很强的计算资源GPU单元等，成本较高。客流统计的方法主要基于三大类：基于特征点、基于人体分割与跟踪和基于深度学习的检测方法，这三类方法均存在缺陷。前两类检测方法的准确性有待提高。虽然，第三类检测方法的准确性很高，但是，它的实时性和高昂的硬件成本均未能达到推广和使用的标准。r>
技术实现思路
：本专利技术目的是提供一种基于深度数据的公交车乘客检测跟踪以及计数的方法，这种方法在降低硬件及计算成本的基础上能以较高的准确率实时统计公交车的客流量。具体技术方案如下：所述方法的深度数据是利用垂直安装在公交车上踏板区域上的深度摄像头从公交车前门、后门的顶部区域拍摄的深度客流视频数据，客流统计步骤如下：步骤1：深度数据预采集：在公交车车门上方垂直安装标定好深度摄像头，并且获得摄像头的内参；采集公交车乘客上下车的深度视频数据信息；步骤2：深度数据预处理：原始深度数据存在异常的深度数据，对深度图像处理影响极大，在深度数据预处理阶段将这些异常数据合理化；按照相机安装的高度距离地面的距离为阈值，对深度值大于阈值的值赋值为0；步骤3：深度数据背景建模：利用计算简单的帧差法对深度视频数据进行背景建模，最终只对提取的前景进行进一步处理；背景建模直接在16bit的深度图像上计算，其阈值根据相机安装的高度进行调整；步骤4：极值点检测及筛选：背景建模得到的前景帧为原始16bit的深度图像，将其转换为8bit(0-255)的灰度图像；对灰度图像进行缩放，采用邻域检测极大值的方法进行极大值点检测，并对检测到的极大值点进行修正、判断和筛选；前景帧的灰度图是640x400，将其缩放为80x50的尺寸，并用人头为极值点的召回率为100％，并且能够区分不同的人头；缩放过的图像首先依次进行高斯滤波和中值滤波，并用中值滤波的结果对图像补空洞；接着采用3x3的卷积核对补过空洞的图像进行极大值检测；步骤5：筛选符合人头的极值点：对上一步得到的极值点邻域像素进行分析，以筛选出符合人头的极值点，并根据相机实际的安装高度给出人头检测框；步骤6：人头轨迹跟踪：根据检测框信息，利用卡尔曼滤波器跟踪检测框信息，不同帧之间的匹配检测框的中心点连接起来，形成目标的轨迹信息；调整卡尔曼的参数使得跟踪速度符合人的行驶速度，并且设置参数，在连续匹配n帧的情况下给出轨迹的ID，在连续n帧没有检测的时候轨迹跟踪结束，计算并判断该ID是否符合上下车计数规则(例如，在卡尔曼跟踪中设置连续3帧没有检测的时候，轨迹跟踪结束；那么在根据轨迹进行客流计数的时候，不计算最后3帧的轨迹信息，这样既能够连续跟踪轨迹，又能够消除在轨迹判断的时候，因为轨迹结束时候噪声影响计数以及轨迹方向的判断)；步骤7：轨迹方向判断：根据相机世界坐标的方向和轨迹的起始信息，判断目标的上下车方向；计算轨迹y轴方向起始点差的正负，最为轨迹方向判断的依据(如上一步所述原因，轨迹方向计算的时候也不考虑轨迹最后n帧的信息)；步骤8：客流量计数根据轨迹个数及轨迹的方向，统计视频中上下车乘客的数量。优选方案一，所述步骤5还包括如下后续过程：接着对极值点15x15的邻域计算非零比例，设置比例阈值筛除突兀的极值点；对于极值点距离较近的点合并为一个极值点，取极值点最大的为最终的极值点值，小的极值点删除；极值点之间的距离采用余弦距离，计算如下：进一步优选，上述步骤5还包括如下后续过程：在原像素图像中画出检测区域，根据相机内参计算出检测区域的立体空间值，极值点在立体空间区域的被认为是有效的人头极值点；像素坐标转为世界坐标的计算公式如下：[wx,wy,wz]T为世界坐标，[xc,yc,zc]T为像素坐标,cu，cv，fx，fy为相机内参；得到极值点的世界坐标后，根据相机的实际安装高度并结合人头部的实际大小，给出检测框的大小。优选方案二，所述步骤8具体过程为：根据轨迹个数及轨迹的方向，统计视频中上下车乘客的数量；因为相机挂在公交车上，公交车长时间运行、颠簸、震动会导致相机内参发生微小变化；而设置上下车基准线是依据相机的内参计算基准线的世界坐标，内参的微小变化会导致基准线发生偏移；因此本设计中将轨迹在检测区域的轨迹点个数和轨迹y方向上的差值作为判断规则；并且轨迹的最后几个点不参与计算，因为最后几个点的跟踪，没有检测点的参与，预测准确性不能得到保证；比如在检测点消失前，人的轨迹方向或者速度反正大的变化，会导致预测的轨迹点发生大的偏离。本专利技术相对于现有技术的优点在于：(一)本专利技术克服了传统客流仪在乘客客流量较大、光照不良(如大雨、大雪、大雾、夜晚)时准确率低的缺点。(二)本客流仪克服了新型的基于人工智能(机器学习或者深度学习)对数据依赖性强，对硬件要求较高的不足。基于人工智能的客流仪中需要不断训练特征模型，不同的应用场景也需要不同的数据训练模型，特征模型对硬件的要求较高，尤其是需要实时处理视频流的场景。本客流仪计算简单，对硬件要求较低。(三)本客流仪中检测框是根据人头的实际大小变化的，与相机实际距离不同，人头检测框大小不同，距离相机越近，头部在深度图像的映射越大，检测框的大小越大，准确的检测框大小保证了在跟踪中人头ID的连续性。。(四)本客流仪中深度图像中对人头的检测部分也可以很方便地融入到人头重识别应用上，以便获得乘客在哪站上下车的具体信息，为公交车客流调度等提供准确信息。附图说明：图1为本专利的公交车客流量流程示意图。具体实施方式：实施例：一种公交车客流量实时统计方法，所述方法的视频数据是利用摄像头从公交车前门、后门的顶部区域所拍摄本文档来自技高网...

【技术保护点】
1.基于深度图像的公交车客流量实时统计方法，其特征在于，所述方法的视频数据是利用深度摄像头从公交车前门、后门的顶部区域所拍摄的客流视频数据，统计方法包括以下步骤：/n步骤1：深度数据预采集：/n在公交车车门上方垂直安装标定好深度摄像头，并且获得摄像头的内参；采集公交车乘客上下车的深度视频数据信息；/n步骤2：深度数据预处理：/n按照相机安装的高度距离地面的距离为阈值，对深度值大于阈值的值赋值为0；/n步骤3：深度数据背景建模：/n利用帧差法对深度视频数据进行背景建模，最终只对提取的前景进行进一步处理；背景建模帧差法直接在16bit的深度图像上计算，其阈值根据相机安装的高度进行调整；/n步骤4：极值点检测及筛选：/n背景建模得到的前景帧为原始16bit的深度图像，将其转换为8bit，即0-255的灰度图像；对灰度图像进行缩放，采用邻域检测极大值的方法进行极大值点检测，并对检测到的极大值点进行修正、判断和筛选；/n前景帧的灰度图是640x400，将其缩放为80x50的尺寸，并用人头为极值点的召回率为100％，并且能够区分不同的人头；缩放过的图像首先依次进行高斯滤波和中值滤波，并用中值滤波的结果对图像补空洞；接着采用3x3的卷积核对补过空洞的图像进行极大值检测；/n步骤5：筛选符合人头的极值点：/n对上一步得到的极值点邻域像素进行分析，以筛选出符合人头的极值点，并根据相机实际的安装高度给出人头检测框；/n步骤6：人头轨迹跟踪/n根据检测框信息，利用卡尔曼滤波器跟踪检测框信息，不同帧之间的匹配检测框的中心点连接起来，形成目标的轨迹信息；/n调整卡尔曼的参数使得跟踪速度符合人的行驶速度，并且设置参数，在连续匹配n帧的情况下给出轨迹的ID，在连续n帧没有检测的时候轨迹跟踪结束，计算并判断该ID是否符合上下车计数规则(例如，在卡尔曼跟踪中设置连续3帧没有检测的时候，轨迹跟踪结束；那么在根据轨迹进行客流计数的时候，不计算最后3帧的轨迹信息，这样既能够连续跟踪轨迹，又能够消除在轨迹判断的时候，因为轨迹结束时候噪声影响计数以及轨迹方向的判断)；/n步骤7：轨迹方向判断/n根据相机世界坐标的方向和轨迹的起始信息，判断目标的上下车方向；计算轨迹y轴方向起始点差的正负，最为轨迹方向判断的依据；(如上一步所述原因，轨迹方向计算的时候也不考虑轨迹最后n帧的信息)/n步骤8：客流量计数/n根据轨迹个数及轨迹的方向，统计视频中上下车乘客的数量。/n...

【技术特征摘要】
1.基于深度图像的公交车客流量实时统计方法，其特征在于，所述方法的视频数据是利用深度摄像头从公交车前门、后门的顶部区域所拍摄的客流视频数据，统计方法包括以下步骤：
步骤1：深度数据预采集：
在公交车车门上方垂直安装标定好深度摄像头，并且获得摄像头的内参；采集公交车乘客上下车的深度视频数据信息；
步骤2：深度数据预处理：
按照相机安装的高度距离地面的距离为阈值，对深度值大于阈值的值赋值为0；
步骤3：深度数据背景建模：
利用帧差法对深度视频数据进行背景建模，最终只对提取的前景进行进一步处理；背景建模帧差法直接在16bit的深度图像上计算，其阈值根据相机安装的高度进行调整；
步骤4：极值点检测及筛选：
背景建模得到的前景帧为原始16bit的深度图像，将其转换为8bit，即0-255的灰度图像；对灰度图像进行缩放，采用邻域检测极大值的方法进行极大值点检测，并对检测到的极大值点进行修正、判断和筛选；
前景帧的灰度图是640x400，将其缩放为80x50的尺寸，并用人头为极值点的召回率为100％，并且能够区分不同的人头；缩放过的图像首先依次进行高斯滤波和中值滤波，并用中值滤波的结果对图像补空洞；接着采用3x3的卷积核对补过空洞的图像进行极大值检测；
步骤5：筛选符合人头的极值点：
对上一步得到的极值点邻域像素进行分析，以筛选出符合人头的极值点，并根据相机实际的安装高度给出人头检测框；
步骤6：人头轨迹跟踪
根据检测框信息，利用卡尔曼滤波器跟踪检测框信息，不同帧之间的匹配检测框的中心点连接起来，形成目标的轨迹信息；
调整卡尔曼的参数使得跟踪速度符合人的行驶速度，并且设置参数，在连续匹配n帧的情况下给出轨迹的ID，在连续n帧没有检测的时候轨迹跟踪结束，计算并判断该ID是否符合上下车计数规则(例如，在卡尔曼跟踪中设置...

【专利技术属性】
技术研发人员：李梁燕，靳展，王鹏，李广，
申请(专利权)人：天津通卡智能网络科技股份有限公司，
类型：发明
国别省市：天津;12