一种基于RGB-D相机的人数统计方法技术

本发明专利技术通过在通道中架设RGB‑D相机，用相机对包含人体目标的通道进行拍摄，获取多幅深度图，并得到深度图对应的俯视图，根据俯视图形成矩形框集合，利用矩形框集合形成轨迹，通过对轨迹的跟踪以及判断，统计通道内的人数。本发明专利技术的方法能够精确的锁定人头及统计人数。

A number of statistics RGB method based on D camera

The present invention through the erection of RGB D camera in the channel, with the camera on the human body contains target channel to shoot, get multiple depth map, and get the top view of the corresponding depth map, according to the plan form a rectangle box set, set forming trajectory using the rectangle, the trajectory tracking and judgment, the number of statistics in the channel. The method of the invention can accurately lock the head and the number of people.

【技术实现步骤摘要】

本专利技术涉及一种基于RGB-D相机的人数统计方法。
技术介绍
随着相机技术的发展，RGB-D相机作为一种新的技术出现，最近几年，随着RGB-D相机价格的降低，其得到了广泛的应用。目前，RGB-D相机有许多实现原理，比如散斑、TOF等，RGB-D相机逐渐广泛应用到各个领域,比如,在三维重建,图像理解,视频监控领域。RGB-D相机的优势在于可以直接获得场景到相机的距离，然后以图像(被称为深度图像或景深图像)的形式呈现给使用者，这比传统的使用双目获得的景深图像更精确。RGB-D相机的优势可以为在复杂环境下的人数统计带来极大的便利。人数统计一直以来是视频监控的核心内容之一，长期以来并没有得到很好的解决，究其主要原因，场景内不仅存在着人的目标，还存在着其他目标，在一些拥挤场景下，比如公交场景，这些目标并没有明显的颜色或者边缘特征，因此我们往往很难利用传统的RGB相机设计算法去分割这些目标，比如在超市通道，除了人之外，还有包、推车、购买的物品等，伪目标(比如包、携带物品)与人头并没有明显的特征可以区分，所以传统的RGB相机很难精确地锁定到人。除了使用单目相机以外，还有一些传统的人数统计，如红外射线的人数统计、基于压力踏板的人数统计，前者无法适用于拥挤、遮挡环境，后者则由于其容易耗损，在大量行人通过的情况下，无法判断其方向，所以不适合复杂环境的人数统计。因此，传统的人数统计，往往不能实现精确、实时的统计人数信息。
技术实现思路
针对现有技术中存在的缺陷，本专利技术的目的在于，提供一种基于RGB-D相机的人数统计方法，能够精确地锁定人头及统计人数。为了实现上述目的，本专利技术采用如下技术方案予以实现：一种基于RGB-D相机的人数统计方法，包括以下步骤：步骤一：在包含人体目标的通道中架设RGB-D相机，对相机进行标定，计算相机的参数矩阵，通道包括A方向和B方向，二者方向相反；步骤二：利用相机对通道进行连续拍摄，获取N幅深度图；求取每幅深度图的俯视图；利用求取的所有俯视图求取背景图Ib；步骤三：利用相机对通道进行拍摄，获取某一时刻m的深度图；针对该幅深度图获取其对应的俯视图；针对俯视图进行去背景操作得到前景图片，针对前景图片进行分块操作得到分块后的图片，针对分块后的图片进行寻找局部最大区域操作得到局部最大区域集合，针对局部最大区域集合进行扩展局部最大区域操作得到扩展后的局部最大区域集合，针对扩展后的局部最大区域集合进行过滤矩形框处理，得到包含有多个元素的一个矩形框集合SFm；步骤四：若步骤三得到的为初始时刻的矩形框集合SFm，则利用初始时刻的矩形框集合SFm生成多条轨迹，多条轨迹形成一个轨迹集合Tm；若步骤三得到的为非初始时刻的矩形框集合SFm，则利用该非初始时刻的矩形框集合SFm对前一时刻已经形成的轨迹集合进行更新，得到更新后的轨迹集合T1m；步骤五：若轨迹集合Tm或者更新后的轨迹集合T1m中的某条轨迹连续多次未被更新，则对该轨迹进行标记，并将该轨迹由轨迹集合Tm或者轨迹集合T1m内删除；步骤六：判断步骤五中的被标记的轨迹的运行方向为A方向或者B方向；利用设置检测线的方法，判断被标记的轨迹是否穿过通道，若某个被标记的轨迹沿A方向通过通道，则通道在A方向上的人数统计结果增加1；若某个被标记的轨迹沿B方向通过通道，则通道在B方向上的人数统计结果增加1；步骤七：重复步骤三至步骤六，直到相机拍摄结束，得到通道在A方向上的人数统计结果和通道在B方向上的人数统计结果。具体地，步骤二中的求取每幅深度图的俯视图以及步骤三中的针对该幅深度图获取其对应的俯视图，采用的公式均如下：len＝m*r其中，θ为深度图上经过P(xp,yp,zp)点的对应射线与地平面的夹角；G(xG,yG,0)为过P点的斜线与地平面的交点；HC为相机高度；m(0＜m＜D)为P点在深度图中的深度值，其中D为用户设定的最大像素值；r为单位深度值所对应的世界空间中的距离；利用以下公式得到俯视图I：其中，(u,v)表示深度图上的点P对应的俯视图I中的像素点，I(u,v)表示像素点(u,v)处的像素值；针对深度图中的每一个点，得到该点对应的俯视图中的像素点和该像素点处的像素值，所有的像素值形成俯视图I。具体地，所述步骤三中的针对俯视图进行去背景操作得到前景图片，采用的公式如下：其中，δF为用户设定的用于提取前景的阈值，IF(u,v)表示前景图片IF中像素点(u,v)处的像素值，Ib(u,v)为背景图Ib在像素点(u,v)位置处的像素值，Im(u,v)表示俯视图Im像素点(u,v)处的像素值。具体地，所述步骤三中的针对前景图片进行分块操作得到分块后的图片，采用的公式如下：其中，IF(u,v)为前景图片IF坐标为(u,v)的像素值，IB(x,y)为图片IB在像素点(x,y)位置处的像素值，划定的块的大小为wb×wb。具体地，所述步骤三中的针对分块后的图片进行寻找局部最大区域操作得到局部最大区域集合，具体包括以下步骤：针对图片IB上的像素点(x,y)，查找该像素点周围的的八个像素点，如果该像素点对应的像素值比八个像素点对应的像素值都要大，将该像素点放入局部最大区域集合SL中，利用SL(i)表示SL的成员，且SL(i)＝(ui,vi,di)，(ui,vi)表示该像素点，di为像素点(ui,vi)在图片IB中的像素值。具体地，所述步骤三中的针对局部最大区域集合进行扩展局部最大区域操作得到扩展后的局部最大区域集合，具体包括以下步骤：针对局部最大区域集合SL的每个元素SL(i)，寻找SL(i)在前景图片IF中对应的像素位置，采用的公式为：其中，(xi,yi)是SL(i)对应于前景图片IF中的位置；令SS(i)＝(xi,yi,zi)，(xi,yi)表示SL(i)对应于前景图片IF的像素点，得到集合SS，SS(i)为集合SS的元素；针对SS中的每个成员SS(i)＝(xi,yi,zi)，以SS(i)为种子，利用种子填充法，向外扩展，扩展的条件为：若|IF(xi,yi)-zi|≤δE，则使用一个矩形框SE(i)＝(ui,vi,Hi,Wi,zi)框选中所有满足条件的像素点，其中(ui,vi)为矩形框左上角点，(Hi,Wi)为矩形框的高和宽，zi为原始像素值，δE为规定的阈值，形成一个扩展后区域的集合SE，SE(i)为集合SE的元素。具体地，所述步骤三中的针对扩展后的局部最大区域集合进行过滤矩形框处理，得到包含有多个元素的矩形框集合，包括以下步骤：采用两个过滤条件对集合SE中的元素进行过滤：(1)若元素SE(i)符合以下条件：则将该元素删除；(2)若两个矩形框SE(i)＝(ui,vi,Hi,Wi,zi)和SE(j)＝(uj,vj,Hj,Wj,zj)，满足则判定SE(i)和SE(j)重合，如果重合，则保留zi和zj较大的矩形框；将保留下的矩形框形成矩形框集合SFm，矩形框集合SFm中的元素为SFm(i)，其中，m表示时刻。具体地，所述步骤四中的步骤三得到的为初始时刻的矩形框集合，则利用初始时刻的矩形框集合生成多条轨迹，多条轨迹形成一个轨迹集合；若步骤三得到的为非初始时刻的矩形框集合，则利用该非初始时刻的矩形框集合对前一时刻已经形成的轨迹集合进行更新，得到更新后的轨迹集合；具体包括以下步骤：若步骤三得到本文档来自技高网...

【技术保护点】
一种基于RGB‑D相机的人数统计方法，其特征在于，包括以下步骤：步骤一：在包含人体目标的通道中架设RGB‑D相机，对相机进行标定，计算相机的参数矩阵，通道包括A方向和B方向，二者方向相反；步骤二：利用相机对通道进行连续拍摄，获取N幅深度图；求取每幅深度图的俯视图；利用求取的所有俯视图求取背景图Ib；步骤三：利用相机对通道进行拍摄，获取某一时刻m的深度图；针对该幅深度图获取其对应的俯视图；针对俯视图进行去背景操作得到前景图片，针对前景图片进行分块操作得到分块后的图片，针对分块后的图片进行寻找局部最大区域操作得到局部最大区域集合，针对局部最大区域集合进行扩展局部最大区域操作得到扩展后的局部最大区域集合，针对扩展后的局部最大区域集合进行过滤矩形框处理，得到包含有多个元素的一个矩形框集合SFm；步骤四：若步骤三得到的为初始时刻的矩形框集合SFm，则利用初始时刻的矩形框集合SFm生成多条轨迹，多条轨迹形成一个轨迹集合Tm；若步骤三得到的为非初始时刻的矩形框集合SFm，则利用该非初始时刻的矩形框集合SFm对前一时刻已经形成的轨迹集合进行更新，得到更新后的轨迹集合T1m；步骤五：若轨迹集合Tm或者更新后的轨迹集合T1m中的某条轨迹连续多次未被更新，则对该轨迹进行标记，并将该轨迹由轨迹集合Tm或者轨迹集合T1m内删除；步骤六：判断步骤五中的被标记的轨迹的运行方向为A方向或者B方向；利用设置检测线的方法，判断被标记的轨迹是否穿过通道，若某个被标记的轨迹沿A方向通过通道，则通道在A方向上的人数统计结果增加1；若某个被标记的轨迹沿B方向通过通道，则通道在B方向上的人数统计结果增加1；步骤七：重复步骤三至步骤六，直到相机拍摄结束，得到通道在A方向上的人数统计结果和通道在B方向上的人数统计结果。...

【技术特征摘要】
1.一种基于RGB-D相机的人数统计方法，其特征在于，包括以下步骤：步骤一：在包含人体目标的通道中架设RGB-D相机，对相机进行标定，计算相机的参数矩阵，通道包括A方向和B方向，二者方向相反；步骤二：利用相机对通道进行连续拍摄，获取N幅深度图；求取每幅深度图的俯视图；利用求取的所有俯视图求取背景图Ib；步骤三：利用相机对通道进行拍摄，获取某一时刻m的深度图；针对该幅深度图获取其对应的俯视图；针对俯视图进行去背景操作得到前景图片，针对前景图片进行分块操作得到分块后的图片，针对分块后的图片进行寻找局部最大区域操作得到局部最大区域集合，针对局部最大区域集合进行扩展局部最大区域操作得到扩展后的局部最大区域集合，针对扩展后的局部最大区域集合进行过滤矩形框处理，得到包含有多个元素的一个矩形框集合SFm；步骤四：若步骤三得到的为初始时刻的矩形框集合SFm，则利用初始时刻的矩形框集合SFm生成多条轨迹，多条轨迹形成一个轨迹集合Tm；若步骤三得到的为非初始时刻的矩形框集合SFm，则利用该非初始时刻的矩形框集合SFm对前一时刻已经形成的轨迹集合进行更新，得到更新后的轨迹集合T1m；步骤五：若轨迹集合Tm或者更新后的轨迹集合T1m中的某条轨迹连续多次未被更新，则对该轨迹进行标记，并将该轨迹由轨迹集合Tm或者轨迹集合T1m内删除；步骤六：判断步骤五中的被标记的轨迹的运行方向为A方向或者B方向；利用设置检测线的方法，判断被标记的轨迹是否穿过通道，若某个被标记的轨迹沿A方向通过通道，则通道在A方向上的人数统计结果增加1；若某个被标记的轨迹沿B方向通过通道，则通道在B方向上的人数统计结果增加1；步骤七：重复步骤三至步骤六，直到相机拍摄结束，得到通道在A方向上的人数统计结果和通道在B方向上的人数统计结果。2.如权利要求1所述的基于RGB-D相机的人数统计方法，其特征在于，步骤二中的求取每幅深度图的俯视图以及步骤三中的针对该幅深度图获取其对应的俯视图，采用的公式均如下：xGyG=p11-p31xp12-p32xp21-p31yp22-p32y-1p34x-p14p34y-p24]]>sin(θ)=Hc/xG2+yG2+Hc2]]>len＝m*rzP=Hc-len*sin(θ)xp=xG(1-zpHC)yp=yG(1-zpHC)]]>其中，θ为深度图上经过P(xp，yp，zp)点的对应射线与地平面的夹角；G(xG,yG,0)为过P点的斜线与地平面的交点；HC为相机高度；m(0＜m＜D)为P点在深度图中的深度值，其中D为用户设定的最大像素值；r为单位深度值所对应的世界空间中的距离；利用以下公式得到俯视图I：u=rxxp+dxv=ryyp+dyI(u,v)=zp]]>其中，(u,v)表示深度图上的点P对应的俯视图I中的像素点，I(u,v)表示像素点(u,v)处的像素值；针对深度图中的每一个点，得到该点对应的俯视图中的像素点和该像素点处的像素值，所有的像素值形成俯视图I。3.如权利要求2所述的基于RGB-D相机的人数统计方法，其特征在于，所述步骤三中的针对俯视图进行去背景操作得到前景图片，采用的公式如下：其中，δF为用户设定的用于提取前景的阈值，IF(u,v)表示前景图片IF中像素点(u,v)处的像素值，Ib(u,v)为背景图Ib在像素点(u,v)位置处的像素值，Im(u,v)表示俯视图Im像素点(u,v)处的像素值。4.如权利要...

【专利技术属性】
技术研发人员：宋焕生，孙士杰，刘瑞芝，张文涛，张朝阳，崔华，李钢，李怀宇，张向清，李莹，陈艳，王璇，杨燕妮，孟乔，潘强，李婵，孙亚，
申请(专利权)人：长安大学，
类型：发明
国别省市：陕西;61