基于立体视觉的公交客流统计方法及其系统技术方案

本发明专利技术公开了一种基于立体视觉的公交客流统计方法及其系统。本发明专利技术采用立体视觉装置和算法。立体视觉图像采集设备放置于公交车车门顶端，实时采集乘客上下车图像，处理器采用立体视觉算法对采集到的双目图像进行处理，获取图像深度信息，结合单目图像的处理信息获得乘客头顶部的位置、大小，灰度等信息，再由跟踪部分对获取的乘客头顶部信息进行实时跟踪，由跟踪结果便可获知乘客上下车的人数，从而获得实时、准确的客流信息。本发明专利技术提升了公交客流统计系统的准确率，获得的客流信息可以作为调配城市公交车辆班次密度和公交线路规划设计的依据，对于汽车客运运输事业的健康发展起着重要的促进作用。

【技术实现步骤摘要】

本专利技术涉及公交客流统计，尤其涉及一种基于立体视觉的公交客流统计方法及其系统。
技术介绍
近些年来，展览馆、体育场、图书馆、机场、地铁及公交车等公共场所都安装有智能监控与调度系统，对这些系统来说，实时准确的客流信息的重要性不言而喻。而目前客流信息统计的主要手段为红外遮挡系统及压力传感系统，这两种传统方法的优势在于实现简单，成本低廉，但其主要缺陷在于统计不准确，对客流高峰期拥挤状况无能为力。相对于其他信息，图像信息的容量更大，更丰富，因此图像处理技术的兴起与不断的发展为传统的客流统计技术面临的一系列问题的解决提出了很多新方法。目前，已经有很多基于图像处理的方法应用于客流统计系统，但它们所采用的方法都是基于单目二维图像的，应用于公交客流统计系统时，还存在很多无法克服的问题，这些问题主要有1)背景随光线变化复杂，不利于前景(人头部)的提取；2)客流高峰拥挤情况下，人与人之间结合紧密，基于二维信息的方法很难将拥挤在一起的几个人准确的区分开来，而且拥挤情况又是非常频繁的；3)由于公交车台阶的存在，导致同一人的头部在上下车时在位置固定的单目摄像机看来大小是时刻变化的，非常不利于识别与跟踪。
技术实现思路
本专利技术的目的是提供一种基于立体视觉的公交客流统计方法及其系统。基于立体视觉的公交客流统计方法处理器对立体视觉装置获取的双目图像进行立体视觉处理，得到场景中的各点到摄像机之间的距离，然后在距离上设置阈值，得到距离摄像机某一距离范围内的场景中的所有点，通过对这些点的去噪、拟和，再结合单目图像的特征识别方法，将那些近似组成圆的场景中点的集合作为人的头部，从而实现了人头部的检测，再将人头部检测的结果的位置、半径、灰度信息交由跟踪算法实施有效跟踪，便可以正确判断出客流的运动方向，从而完成客流信息统计。立体视觉处理指的是利用两台略有位置偏移的摄像机通过三角运算，获得场景的深度信息，立体视觉处理方法步骤如下1)在不同的图像之间建立图像特征点之间的对应关系，2)计算图像特征点位置之间的相对偏移，3)通过已知的摄像机参数计算图中特征点的三维位置信息。单目图像的特征识别方法将人体头部的形状作为特征，取双目图像中的任一目图像作为单目图像，对其进行图像的边缘检测，在边缘检测结果上实施改进的哈夫变换，在哈夫变换的结果中进行模糊聚类，从而获得场景中所有类圆形目标作为人体头部的检测结果。基于立体视觉的公交客流统计装置处理器分别与控制电路、网络传输模块、协议转换模块、存储器相接，控制电路分别与双目图像采集模块、网络传输模块相接，网络传输模块与网络接口相接，存储器与双目图像采集模块相接。双目图像采集模块时序控制电路分别与摄像机1和摄像机2相接。本专利技术可以克服现有的公交客流统计系统存在的很多问题，对于城市公交汽车，客流统计信息对于调配公交车辆班次密度和对公交线路的规划设计具有十分重要的参考意义；对于长途客运汽车，客流统计信息对于超载、私自收费等威胁乘客人身安全、造成国家经济损失的不良现象具有良好的监督作用。总之，本专利技术不仅可以为公交规划、市政建设提供更加可靠的客流数据，对汽车客运运输事业的健康发展同样起着重要的作用。附图说明图1是基于立体视觉的公交客流统计系统结构框图；图2是本专利技术的双目图像采集模块结构框图；图3是本专利技术实现人头部检测算法软件流程图；图4是本专利技术跟踪算法软件流程图。具体实施例方式如图1所示，基于立体视觉的公交客流统计系统处理器分别与控制电路、网络传输模块、协议转换模块、存储器相接，控制电路分别与双目图像采集模块、网络传输模块相接，网络传输模块与网络接口相接，存储器与双目图像采集模块相接。为确保实时处理，图像分辨率不宜过大，不采用彩色图像，直接由摄像头获取灰度图像，在这种情况下，图像数据量不是很大，不需要考虑与处理器接口复杂的SDRAM，直接采用处理器片上SRAM或者外部扩展SRAM。立体视觉算法与一般图像处理算法比较，运算量大，浮点运算多，对内存的需求大，为确保实时性要求，处理器的选择很重要。TMS320C6000系列是德州仪器公司生产的高档DSP产品，这种DSP可以提高系统性价比，减少开发时间，增加可靠性，得到了十分广泛的应用。其主要特性为①定点/浮点系列兼容DSP，主频100MHz-600MHz；②具有VelciTITM先进VLIW结构内核；③具有类似RISC的指令集；④片内集成大容量SRAM，可达8M；⑤高效率协处理器(C64x)；⑥片内提供多种集成外设。包括多通道缓冲串口McBSP，多通道音频串口McASP和多通道DMA/EDMA控制器等；其特性决定了C6000系列特别适合于开发图像产品，因此作为立体视觉客流统计系统的中央处理器，C6000系列是个合适的选择。嵌入式系统开发中，高效的调试手段是异常重要的，不仅在产品研发阶段需要调试接口，在产品上市初期，为了修补各种研发阶段没有遭遇的问题，也必须保留调试接口。考虑到图像的数据量，该调试接口必须保证较高的传输速率，综合考虑传输率与开发成本，网络接口是一个比较理想的选择。采用百兆以太网卡芯片(如RTL8139)作为网络接口，可以在客流统计系统与宿主机(可以为PC或专门开发的带有网络接口的嵌入式系统)之间传送各种必要的调试数据甚至是实时的双目图像数据，为高效的调试提供保障。如图2所示，双目图像采集模块时序控制电路分别与摄像机1和摄像机2相接。立体视觉系统采用双目摄像机，且双目摄像机为水平放置，即两摄像机镜头中心连线处于同一水平线上。考虑到摄像机安装高度有限，为了兼顾两摄像机具有较大的公共视场，需要采用广角镜头。镜头焦距不大于600像素宽度。考虑实时性要求，两个摄像机采集灰度图像，结合立体视觉精度要求，采集图像分辨率为640*480；两摄像机之间基线长度为15厘米。如图3所示，检测模块的算法流程图，首先对双目图像进行立体视觉处理，采用基于窗口的匹配算法获得含深度信息的图像I(x，y，z)，在Z方向设定相应的阈值后，可能为人头部的区域就都被提取出来。随后在双目图像中任意取出一幅作为单目图像进行平面类圆物体提取。提取过程先要对单目图像进行边缘检测、背景去除等预处理工作，接着对经过预处理的前景边缘图像进行改进的哈夫变换，对哈夫变换的结果引入模糊度量，在模糊置信度的指导下去除哈夫变换结果中的虚假类圆物体，获得单目图像中所有类圆物体的位置与半径。最后，将立体视觉算法处理的结果与单目图像哈夫变换的结果结合起来，提取出前景中所有人头部所在的位置，并同时计算出跟踪部分所需要的每个人头部的特征向量(x，y，z，R，G)。由于人的头部明显高于人体肩部等其他部位，也就是说人体头部与摄像机之间的距离比其他部分近。利用立体视觉的方法可以得到场景中的各点到摄像机之间的距离，因此我们可以得到距离摄像机某一范围内的场景中的所有点。通过对这些点的去噪、拟和过程，将那些近似组成圆的场景中点的集合作为人的头部，从而实现了人头部的检测，再将人头部检测的结果(位置、半径、灰度等信息)交由跟踪算法实施有效跟踪，便可以正确判断出此人运动方向，从而完成计数。立体视觉技术能够利用两台略有位置偏移的摄像机通过三角运算，获得场景的深度信息。摄像机模块同时获取场景的两幅图像。场景中的点分别在两幅图像中存在像点。在不同的图像中像点的本文档来自技高网...

【技术保护点】
一种基于立体视觉的公交客流统计方法，其特征在于，处理器对立体视觉装置获取的双目图像进行立体视觉处理，得到场景中的各点到摄像机之间的距离，然后在距离上设置阈值，得到距离摄像机某一距离范围内的场景中的所有点，通过对这些点的去噪、拟和，再结合单目图像的特征识别方法，将那些近似组成圆的场景中点的集合作为人的头部，从而实现了人头部的检测，再将人头部检测的结果的位置、半径、灰度信息交由跟踪算法实施有效跟踪，便可以判断出客流的运动方向，从而完成客流信息统计。

【技术特征摘要】

【专利技术属性】
技术研发人员：刘济林，于海滨，沈晔湖，
申请(专利权)人：浙江大学，
类型：发明
国别省市：86[中国|杭州]