一种实时多向行人计数、跟踪方法技术

本发明专利技术公开了一种实时多向行人计数、跟踪方法，该方法包括如下步骤：使用深度摄像机获取深度图像和彩色图像；从深度图像中提取运动团块；从彩色图像上提取Harris角点；通过相互间隔一帧图像的两帧图像中的相互匹配的Harris角点计算光流向量组；将光流向量组聚类成一个行人位置点；计算行人位置点光流向量。本发明专利技术对于行人拥挤场景和行人稀疏场景均能进行监控计数，具有很高的实际应用价值，计算量小，误辩率低，且只使用单个摄像头，安装方便且对监控环境影响很小。

【技术实现步骤摘要】

本专利技术属于计算机视觉领域，特别涉及。
技术介绍
在智能视频监控
中，对于行人计数的研究一直是本领域技术人员关注的 核心。这是因为，通过对场景中的行人计数，出现突发事件时，可以有效地根据场景中人数 的分布而合适地分散、疏散人流，最大程度地降低突发事件所带来的危害。 目前，行人计数的方法主要有以下两种： I)OpenCV中提供的运动团块跟踪； 该方法主要由四个模块组成：前景检测、团块检测、团块跟踪和轨迹处理。通过 使用运动目标检测得到运动团块，并提供了不同的跟踪方法对这些运动图块进行跟踪及优 化，最后生成团块的运动轨迹。 该方法依赖于团块检测，后面的轨迹处理只是对出现检测失误的情况下的一种弥 补措施。这种运动检测的实时性较好，适用于行人计数等实时系统。但是这种方法有其致 命的缺点：a、对背景模型的建立及前景目标的提取依赖性比较强，当场景中的背景变化较 快时，无法表现出很好的性能；b、若运动目标在背景中停留时间相对较长，则该运动目标就 会被纳入到背景模型中去；c、特别是当选用检测精度比较高的算法时，该方法的实时性无 法符合要求，更无法实现跟踪和计数了。 2)仅使用光流的方法 其基本的原理是：给图像中的每一个像素点赋予一个速度矢量，这就形成了一个 图像运动场，在运动的一个特定时刻，图像上的点与三维物体上的点一一对应，这种对应关 系可由投影关系得到，根据各个像素点的速度矢量特征，可以对图像进行动态分析。 光流的方法对运动物体整体不敏感，可实现对不明物体的跟踪。但是，实际应用 中，仅使用光流的方法无法克服遮挡性、多光源、透明性和噪声等不利条件的影响，因此光 流场基本方程的灰度守恒假设条件无法得到满足，无法求出正确的光流场，而且光流的计 算方法非常复杂，大量的计算根本不能满足实时性的要求，无法实现实时的多向行人计数 方法。 所以，获得一种准确、快速、实时的多向行人计数方法成为了本领域技术人员一直 追求的目标。
技术实现思路
单独使用OpenCV中提供的运动团块跟踪或者仅使用光流的方法都无法很好地实 现实时多向行人计数、跟踪的问题，本专利技术提供了一种新的实时多向行人计数、跟踪方法， 将上述两种方法有效地结合使用，弥补了现有技术的不足，达到了对实时多向行人计数、跟 踪的目的。 为实现上述目的，本专利技术提供了如下的技术方案： ，其特征在于：该方法包括如下步骤： Sl :使用深度摄像机获取深度图像和彩色图像； [00?5] S2 :从深度图像中提取运动团块； S3 :从彩色图像上提取Harris角点； S4 :通过前后的两帧图像中的相互匹配的Harris角点计算光流向量组； S5 :将光流向量组聚类成一个行人位置点。 S6 :计算行人位置点光流向量。 通过在运动团块基础上进行计算Harris角点，这样就避免了背景区域的计算，而 在很多情况下，背景的区域在整幅图中占据相当大的部分，所以极大地减少了计算量。特别 当图像的分辨率比较高时，Harris角点的计算量将非常的大，常规方法根本无法满足实时 性的要求，在团块的区域上获得Harris角点的方式避免了这个问题。 对于S4步骤，前后的两帧图像之间相互间隔一帧图像。通过相互间隔一帧图像的 两帧图像计算光流向量组，行人位置点为中间帧行人位置点，其准确度更高。 进一步地，对于S2步骤，提取运动团块时，根据人的头部与地板的深度值相差较 大的特点对场景进行建模，分辨出地板和行人，获得行人的运动团块。 通过深度摄像机获取的深度图像中很容易获得图像内某个部分的深度值，容易区 分出地板和行人，这种方式简单、实用、执行效率高。 进一步地，对于S2步骤，提取运动团块时，通过置地板的像素为0的方式获得所有 的行人区域，然后对行人区域分割，获得所有的单人的运动团块。 这种方式能够一步到位地将地板的区域从图像中划分出去，并且采用分割的方式 获取行人团块个数的准确性较高。 进一步地，对于S3步骤，提取Harris角点的个数为20个。 20个Harris角点能够完整地描述行人团块，其带来的计算量也是在可接受的范 围之内的，是经过多次实验获得的参数。 进一步地，提取Harris角点之后，人为添加一个固定的点，该点选取为团块的中 心点。 增加一个固定点，能够增加描述运动团块的准确性。 进一步地，深度摄像机采用精度达到Imm的Kinect摄像机。 采用精度达到Imm的Kinect摄像机，在一般的场景之中，背景总是距离摄像机较 远，而前景即运动目标则总是出现在距离摄像机较近的地方。利用这一特性，可以很方便地 提取出运动目标。 本专利技术的有益效果为：对于行人拥挤场景和行人稀疏场景均能进行监控计数，具 有很高的实际应用价值，计算量小，误辩率低，且本专利技术只使用单个摄像头，安装方便且对 监控环境影响很小。 【附图说明】 图1为实时多向行人计数、跟踪方法的流程图。 【具体实施方式】 下面结合附图对本专利技术的实施方式进行详细解释说明。 实施例1 : 如图1所示，，该方法包括如下步骤： Sl :使用深度摄像机获取深度图像和彩色图像。 本专利技术采用微软推出的摄像机Kinect，可以同时采集深度视频和普通彩色视频， 获取深度图像和彩色图像。深度图像中，可以采集到每个像素点距离摄像机的距离，其精度 可达到1mm，所以对于一般的场景中，通过这种方式可以很容易地提取出运动目标。 S2 :从深度图像中提取运动团块。 摄像机垂直向下拍摄，行人和地板的深度值会有差异，特别是人的头部的深度值 与地板的深度值相差最大，依据深度值大小的不同对场景进行建模，由此分辨出地板和行 人，获得行人运动图块。 获取行人运动团块的目的是：在图像的分辨率较高时，由于得到了运动团块，背景 区域就不再需要进行Harris角点的计算，从而减少Harris角点的计算量以满足实时性的 要求，而很多情况下，背景区域占据了整幅图的绝大部分。 S3 :从彩色图像上寻找Harris角点； 考虑到每帧图像的所有的像素点，将整帧图像定义为一个二阶导数形成的二阶 导数图像，通过使用每个像素点周围小窗口的二阶导数图像的自相关矩阵，其中有两个最 大特征值的点就是Harris角点。 Harris角点具有明显的特征，是跟踪的基础，并且可以与另一张图像的其它点可 以进行参数化的比较。由于只需确定点，所以采用Harris角点的方法能够避免均匀梯度、 移动和旋转对跟踪产生影响。本实施例中，对每一个团块寻找特征最明显的前20个作为 Harris角点，并人为添加一个固定的点，这个点选取为每个团块的中心点，从而加强准确 性。因此，在每一帧图像中，对每一个运动团块一共选取了 21个Harris角点进行跟踪。 S4 :通过前后的两帧图像中的相互匹配的Harris角点计算光流向量组； 在本实施例中，前后的两帧图像之间相互间隔一帧图像。通过相互间隔一帧图像 的两帧图像计算光流向量组，行人位置点为中间帧行人位置点，其准确度更高。设定当前 帧图像为P2,前帧图像为P1，后帧图像为P3,图像Pl的H本文档来自技高网...

【技术保护点】
一种实时多向行人计数、跟踪方法，其特征在于：该方法包括如下步骤：S1：使用深度摄像机获取深度图像和彩色图像；S2：从深度图像中提取运动团块；S3：从彩色图像上提取Harris角点；S4：通过前后的两帧图像中的相互匹配的Harris角点计算光流向量组；S5：将光流向量组聚类成一个行人位置点；S6：计算行人位置点光流向量。

【技术特征摘要】
1. 一种实时多向行人计数、跟踪方法，其特征在于：该方法包括如下步骤： S1:使用深度摄像机获取深度图像和彩色图像； 52 :从深度图像中提取运动团块； 53 :从彩色图像上提取Harris角点； 54 :通过前后的两帧图像中的相互匹配的Harris角点计算光流向量组； 55 :将光流向量组聚类成一个行人位置点； 56 :计算行人位置点光流向量。2. 根据权利要求1所述的一种实时多向行人计数、跟踪方法，其特征在于：对于S4步 骤，前后的两帧图像之间相互间隔一帧图像。3. 根据权利要求1或2所述的一种实时多向行人计数、跟踪方法，其特征在于：对于S2 步骤，提取运动团块时，根据人的头部与地板的深度值相差较大的特点对场景进行建...

【专利技术属性】
技术研发人员：马华东，傅慧源，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京;11