基于计算机视觉的客流量检测方法及系统技术方案

本发明专利技术公开了一种基于计算机视觉的客流统计方法及其系统，视频图像采集设备可利用现有的闭路电视系统（ＣＣＴＶ），可置于机场、地铁、火车站、汽车站、展览会等通道的出入口顶端，实时采集客流出入的视频图像，处理器采用计算机视觉算法对采集到的视频图像进行处理，得到图像的特征点，通过对一段时间内连续图像序列的处理得到特征点轨迹。通过对特征轨迹进行时间－空间上的约束，得到平滑连续的轨迹，对得到的特征轨迹进行聚类，得到客流的人数，从而获得实时、准确的客流信息。本发明专利技术结合计算机视觉装置和算法，在客流密集的情况下对客流量进行准确计数，获得的客流信息可以作为安全监控、运行管理和线路规划设计的依据。

【技术实现步骤摘要】

本专利技术属于图象处理
，涉及一种基于计算机视觉的客流量检测方 法及系统。
技术介绍
随着社会对安全保障需求的提高，在各个公共场所普遍安装了闭路电视监 控系统，特别在机场、地铁、火车站、汽车站、展览会等客流密集场所，摄像 机的数量更为密集。在普通的监控中，通常只是对得到的监控内容进行人工的 监视，由于摄像机的机位众多，以及人工监视的工作量大，使得大多数的摄像 资料只能起到记录的作用，不能发掘视频监控系统中丰富、大量的有用信息。由于视频监控的广泛应用，基于计算机视觉的行人检测和跟踪已经成为一 个非常活跃的研究领域，为大型公共场所的智能监控提出了新的解决办法。当 前在国外，针对客流密集场所的行人检测和跟踪方面所提出的方法和系统，一 般针对人数较少的视频图像，根据单个行人的轨迹来对过往的行人进行计数。 然而对于客流密集的场所，存在严重的相互遮挡问题，因此传统的基于斑块检 测与跟踪的背景差方法无法解决以下问题1. 在客流密集的情况下，只有有限的背景，甚至无法提取背景；2. 在行人拥挤时，行人间存在严重的相互遮挡，以及背包等物品的遮挡；3. 客流密集的视频图像中，往往包含大量的不规则运动，目标的特征信息 有限， 一般需要通过两帧以上的视频图像才能检测出单个运动目标；
技术实现思路
本专利技术的目的是提供一种基于计算机视觉的客流量检测方法及系统，克服 传统的基于斑块检测与跟踪的背景差方法存在的不足，可适用客流密集的场所。为了达到上述目的，本专利技术的解决方案是基于计算机视觉的客流量检测方法，将视频图像采集设备设置于行人通道 的出入口，实时采集客流出入的视频图像；以处理器对采集到的视频图像进行 处理，得到图像的特征点；通过对一段时间内连续图像序列的处理得到特征点 轨迹；通过对特征轨迹进行时间和空间上的约束，得到平滑连续的轨迹，对得 到的特征轨迹进行聚类，获得实时、准确的客流信息。进一步，处理器对采集装置获取的视频图像进行处理，得到单帧图像场景 中的特征点，然后在一段时间的连续序列图像上进行处理，得到一系列图像序 列中的所有特征点，通过对这些特征点在时间v空间上进行约束，得到平滑的 特征点轨迹，通过特征轨迹聚类的方法，将那些在时间和空间上具有相似特征的轨迹划分成一个目标，从而实现单个行人的检测和跟踪。再对得到的特征轨 迹进行分析，结合监控区域的标定，得到监控区域在实际中的面积，从而可以 统计客流在各个方向的轨迹信息，以及区域的客流密度。同时可以根据需要， 对行人的肩宽信息进行检测，便可以根据这些信息对公共交通环境的舒适程度 做出判断。所述的计算机视觉处理指的是通过在图像区域内进行搜索，获得运动目 标的特征点，再对连续多帧图像序列中的特征点进行跟踪，得到运动目标的轨 迹信息，基于计算机视觉的特征跟踪，基本思想就是确定从前一帧图像到后一 帧图像中，局部窗口的运动参数。处理步骤如下1)给定窗口，选择仿射运动 参数，使得图像帧间差最小化；2)求解二阶矩矩阵的特征值，如果最小特征值 大于给定的阈值，则认为该窗口较好，否则特征跟踪中止；3)当初始特征不能继续被跟踪时，特征跟踪结束。对于特征点之间的距离，可以根据实际需要进 行设置。 一般为了减少特征点的个数，可以设定特征点之间的最小距离，比如选4个象素点，如果为了进一步减少特征点的个数，可以设置更大的距离。所述的特征跟踪方法选择窗口，将窗口的中心作为跟踪的特征，对于连续图像序列中的两帧，计算窗口内灰度差异，通过使差异最小化选择好的窗口， 从而确定跟踪的特征点。采用特征点再生的方法，重新生成丢失的特征点，并 通过对每一特征轨迹进行时间和空间上的约束，得到更加平滑、完整的特征轨 迹。所述的特征轨迹的约束方法在图像序列每条轨迹上传递一个约束框，轨 迹开始时，通过计算框内所有轨迹的坐标质心进行初始化。不同轨迹间的距离不小于4个象素，因此框的宽度设置为16个象素，根据框内其他特征轨迹的偏置矢量的均值，确定下一帧中约束轨迹位置，从而得到平滑、完整的特征轨迹。为了检测某一时刻的客流量，需要对特征轨迹进行聚类。聚类的方法首 先在检测的场景中设置一个尽可能小的目标约束框，能够包含每一可能的目标， 如果两条轨迹不在同一框中，则他们属于不同的目标。同时定义清晰度因子， 作为两个特征间的距离随时间变化量，描述轨迹间的联结程度。满足以上条件 的轨迹合并在一起，成为同一目标轨迹。实现上述的基于计算机视觉的客流量检测方法的系统，包括视频采集设备、 存储器、处理器，所述的处理器为嵌入式处理器。该视频图像采集设备利用现有的闭路电视系统，设置于机场、地铁、火车站、 汽车站、展览会等行人通道的出入口顶端，实时采集客流出入的视频图像。上述的基于计算机视觉的客流量检测方法及系统的应用，可将获得的客流 信息可以作为安全监控、运行管理和线路规划设计的依据。特别的，在此对以下几方面作进一步的说明-特征跟踪技术一直以来，计算机视觉领域中特征跟踪技术没有得到很好的解决，对它研究集中在图像处理的相关领域以及差方和(Sum of Squared Difference, SSD) 方法。如果帧间位移较小，通过对变换和图像线性形变的匹配准则进行优化，对窗口进行跟踪，同时窗口的大小可以自适应地调节，窗口的选择可以基于图像 的纹理或者角点。在视频图像序列中，图像的强度会发生复杂的变化。通常， 这种变化可以描述为图像的运动-<formula>formula see original document page 6</formula>因此"r时刻的视频帧，可以通过f时刻图像中每个点的移动来得到。运动程度 由^《,7)表示，称作p(x,力点的位移。位移矢量^为图像位置x的函数，即使在 较小的跟踪窗口中，位移^的变化也比较显著。给定窗口『，选择仿射运动参数 A和d，最小化下面的偏差量<formula>formula see original document page 6</formula>其中，w为加权函数，经常取为常数或高斯函数。在纯变换下，矩阵A取为单位 矩阵。因此，使上式偏差量最小化，得到Zd = e，其中，<formula>formula see original document page 6</formula>如果二阶矩矩阵Z为满秩矩阵，则等式具有平稳解。特别地，通过选择窗口，使 Z的最小特征值大于给定的阈值，那么该窗口为好的窗口。 一旦特征值小于给定 的阈值，那么特征跟踪结束。特征轨迹聚类在图像序列每条轨迹上传递一个约束框，轨迹开始时，通过计算框内所有 轨迹的坐标质心进行初始化。不同轨迹间的距离不小于4个象素，因此框的宽 度设置为16个象素，根据框内其他特征轨迹的偏置矢量的均值，确定下一帧中 约束轨迹位置，从而得到平滑、完整的特征轨迹。为了检测某一时刻的客流量，需要对特征轨迹进行聚类。聚类的方法首先在检测的场景中设置一个尽可能 小的目标约束框，能够包含每一可能的目标，如果两条轨迹不在同一框中，则 他们属于不同的目标。同时定义清晰度因子，作为两个特征间的距离随时间变 g量，描述轨迹间的联结程度。满足以上条件的轨迹合并在一起，成为同一目 标轨迹。基于计算机视觉的本文档来自技高网...

【技术保护点】
基于计算机视觉的客流量检测方法，其特征在于：将视频图像采集设备设置于行人通道的出入口，实时采集客流出入的视频图像；以处理器对采集到的视频图像进行处理，得到图像的特征点；通过对一段时间内连续图像序列的处理得到特征点轨迹；通过对特征轨迹进行时间和空间上的约束，得到平滑连续的轨迹，对得到的特征轨迹进行聚类，获得实时、准确的客流信息。

【技术特征摘要】

【专利技术属性】
技术研发人员：刘富强，祖克举，陈康力，王新红，钱业青，徐尚志，宋春林，戴佐培，杨煜，
申请(专利权)人：同济大学，
类型：发明
国别省市：31[中国|上海]