一种基于RGB-D相机的人头锁定方法技术

本发明专利技术公开了一种基于RGB‑D相机的人头锁定方法，通过在通道中架设RGB‑D相机，用相机对包含人体目标的通道进行拍摄，获取多幅深度图，并得到深度图对应的俯视图，根据俯视图形成矩形框集合，实现人头的锁定。本发明专利技术的方法能够精确的锁定人头。

A locking method D camera head based on RGB

The invention discloses a locking method of RGB D camera based on RGB head, through the erection of D camera in the channel, with the camera on the human body contains target channel to shoot, get multiple depth map, and get the top view of the corresponding depth map, according to the plan form a rectangular box set, locking head. The method of the invention can accurately lock the human head.

【技术实现步骤摘要】

本专利技术涉及一种基于RGB-D相机的人头锁定方法。
技术介绍
随着相机技术的发展，RGB-D相机作为一种新的技术出现，最近几年，随着RGB-D相机价格的降低，其得到了广泛的应用。目前，RGB-D相机有许多实现原理，比如散斑、TOF等，RGB-D相机逐渐广泛应用到各个领域,比如,在三维重建,图像理解,视频监控领域。RGB-D相机的优势在于可以直接获得场景到相机的距离，然后以图像(被称为深度图像或景深图像)的形式呈现给使用者，这比传统的使用双目获得的景深图像更精确。RGB-D相机的优势可以为在复杂环境下的人数统计带来极大的便利。人数统计一直以来是视频监控的核心内容之一，长期以来并没有得到很好的解决，究其主要原因，场景内不仅存在着人的目标，还存在着其他目标，在一些拥挤场景下，比如公交场景，这些目标并没有明显的颜色或者边缘特征，因此我们往往很难利用传统的RGB相机设计算法去分割这些目标，比如在超市通道，除了人之外，还有包、推车、购买的物品等，伪目标(比如包、携带物品)与人头并没有明显的特征可以区分，所以传统的RGB相机很难精确地锁定到人。
技术实现思路
针对现有技术中存在的缺陷，本专利技术的目的在于，提供一种基于RGB-D相机的人头锁定方法，能够精确地锁定人头。为了实现上述目的，本专利技术采用如下技术方案予以实现：一种基于RGB-D相机的人头锁定方法，包括以下步骤：步骤一：在通道场景中架设RGB-D相机，对相机进行标定，计算相机的参数矩阵，通道包括A方向和B方向，二者方向相反；步骤二：利用相机对包含人体目标的通道进行连续拍摄，获取N幅深度图；求取每幅深度图的俯视图；利用求取的所有俯视图求取背景图Ib；步骤三：利用相机对包含人体目标的通道进行拍摄，获取某一时刻m的深度图；针对该幅深度图获取其对应的俯视图；针对俯视图进行去背景操作得到前景图片，针对前景图片进行分块操作得到分块后的图片，针对分块后的图片进行寻找局部最大区域操作得到局部最大区域集合，针对局部最大区域集合进行扩展局部最大区域操作得到扩展后的局部最大区域集合，针对扩展后的局部最大区域集合进行过滤矩形框处理，得到包含有多个元素的一个矩形框集合SFm，实现人头锁定的目的。具体地,步骤二和步骤三中的求取每幅深度图的俯视图，采用的公式如下：len＝m*r其中，θ为深度图上经过P(xp,yp,zp)点的对应射线与地平面的夹角；G(xG,yG,0)为过P点的斜线与地平面的交点；HC为相机高度；m(0＜m＜D)为P点在深度图中的深度值，其中D为用户设定的最大像素值；r为单位深度值所对应的世界空间中的距离；利用以下公式得到俯视图I：其中，(u,v)表示深度图上的点P对应的俯视图I中的像素点，I(u,v)表示像素点(u,v)处的像素值；针对深度图中的每一个点，得到该点对应的俯视图中的像素点和该像素点处的像素值，所有的像素值形成俯视图I。具体地,所述步骤三中的针对俯视图进行去背景操作得到前景图片，采用的公式如下：其中，δF为用户设定的用于提取前景的阈值，IF(u,v)表示前景图片IF中像素点(u,v)处的像素值，Ib(u,v)为背景图Ib在像素点(u,v)位置处的像素值，Im(u,v)表示俯视图Im像素点(u,v)处的像素值。具体地，所述步骤三中的针对前景图片进行分块操作得到分块后的图片，采用的公式如下：其中，IF(u,v)为前景图片IF坐标为(u,v)的像素值，IB(x,y)为图片IB在像素点(x,y)位置处的像素值，划定的块的大小为wb×wb。具体地，所述步骤三中的针对分块后的图片进行寻找局部最大区域操作得到局部最大区域集合，具体包括以下步骤：针对图片IB上的像素点(x,y)，查找该像素点周围的的八个像素点，如果该像素点对应的像素值比八个像素点对应的像素值都要大，将该像素点放入局部最大区域集合SL中，利用SL(i)表示SL的成员，且SL(i)＝(ui,vi,di)，(ui,vi)表示该像素点，di为像素点(ui,vi)在图片IB中的像素值。具体地，所述步骤三中的针对局部最大区域集合进行扩展局部最大区域操作得到扩展后的局部最大区域集合，具体包括以下步骤：针对局部最大区域集合SL的每个元素SL(i)，寻找SL(i)在前景图片IF中对应的像素位置，采用的公式为：其中，(xi,yi)是SL(i)对应于前景图片IF中的位置；令SS(i)＝(xi,yi,zi)，(xi,yi)表示SL(i)对应于前景图片IF的像素点，得到集合SS，SS(i)为集合SS的元素；针对SS中的每个成员SS(i)＝(xi,yi,zi)，以SS(i)为种子，利用种子填充法，向外扩展，扩展的条件为：若|IF(xi,yi)-zi|≤δE，则使用一个矩形框SE(i)＝(ui,vi,Hi,Wi,zi)框选中所有满足条件的像素点，其中(ui,vi)为矩形框左上角点，(Hi,Wi)为矩形框的高和宽，zi为原始像素值，δE为规定的阈值，形成一个扩展后区域的集合SE，SE(i)为集合SE的元素。具体地，所述步骤三中的针对扩展后的局部最大区域集合进行过滤矩形框处理，得到包含有多个元素的矩形框集合，包括以下步骤：采用两个过滤条件对集合SE中的元素进行过滤：(1)若元素SE(i)符合以下条件：则将该元素删除；(2)若两个矩形框SE(i)＝(ui,vi,Hi,Wi,zi)和SE(j)＝(uj,vj,Hj,Wj,zj)，满足则判定SE(i)和SE(j)重合，如果重合，则保留zi和zj较大的矩形框；将保留下的矩形框形成矩形框集合SFm，矩形框集合SFm中的元素为SFm(i)，其中，m表示时刻。与现有技术相比，本专利技术具有以下技术效果：本专利技术通过在通道中架设RGB-D相机，用相机对包含人体目标的通道进行拍摄，获取多幅深度图，并得到深度图对应的俯视图，根据俯视图形成矩形框集合，本专利技术的方法能够精确的锁定人头。下面结合附图和具体实施方式对本专利技术的方案做进一步详细地解释和说明。附图说明图1是无坐标系的场景模型；图2是世界坐标系的通道模型；图3是俯视图图像分块操作的示意图；图4是寻找局部最大值的示意图；其中，(a)表示要寻找最大值的图片区域，(b)表示寻找局部最大值的过程，(c)表示最终寻找到局部最大值；图5是相机安装位置示意图；图6是选取六组世界坐标与其对应的图像坐标；图7是由深度图得到俯视图的示意图；其中，(a)通道场景的背景图，(b)为深度图，(c)为去背景操作得到的前景图片，(d)为俯视图；图8是由俯视图得到过滤后的矩形框集合的示意图；其中，(a)表示分块操作结果图，(b)表示局部最大区域集合，(c)扩展局部最大区域后的矩形框集合，(d)过滤矩形框处理后的矩形框集合。具体实施方式本专利技术的基于RGB相机的人头锁定方法，包括以下步骤：步骤一，在通道场景中架设RGB-D相机，对相机进行标定，计算相机的参数矩阵P；步骤1.1：选取某一通道作为人数统计的场景，参见图1，将相机安装在通道的正上方，多个人体目标在通道上沿A方向或者B方向行走，A方向和B方向相反；步骤1.2：建立世界坐标系。参见图2，相机位于世界坐标系的Z轴上，沿通道的方向是世界坐标系的Y轴方向，垂直于通道的方向为世界坐标系的X轴方向，相机在世界坐标系的位置坐标为(0,0,H)，其中H是本文档来自技高网...

【技术保护点】
一种基于RGB‑D相机的人头锁定方法，其特征在于，包括以下步骤：步骤一：在通道场景中架设RGB‑D相机，对相机进行标定，计算相机的参数矩阵，通道包括A方向和B方向，二者方向相反；步骤二：利用相机对包含人体目标的通道进行连续拍摄，获取N幅深度图；求取每幅深度图的俯视图；利用求取的所有俯视图求取背景图Ib；步骤三：利用相机对包含人体目标的通道进行拍摄，获取某一时刻m的深度图；针对该幅深度图获取其对应的俯视图；针对俯视图进行去背景操作得到前景图片，针对前景图片进行分块操作得到分块后的图片，针对分块后的图片进行寻找局部最大区域操作得到局部最大区域集合，针对局部最大区域集合进行扩展局部最大区域操作得到扩展后的局部最大区域集合，针对扩展后的局部最大区域集合进行过滤矩形框处理，得到包含有多个元素的一个矩形框集合SFm，实现人头锁定的目的。

【技术特征摘要】
1.一种基于RGB-D相机的人头锁定方法，其特征在于，包括以下步骤：步骤一：在通道场景中架设RGB-D相机，对相机进行标定，计算相机的参数矩阵，通道包括A方向和B方向，二者方向相反；步骤二：利用相机对包含人体目标的通道进行连续拍摄，获取N幅深度图；求取每幅深度图的俯视图；利用求取的所有俯视图求取背景图Ib；步骤三：利用相机对包含人体目标的通道进行拍摄，获取某一时刻m的深度图；针对该幅深度图获取其对应的俯视图；针对俯视图进行去背景操作得到前景图片，针对前景图片进行分块操作得到分块后的图片，针对分块后的图片进行寻找局部最大区域操作得到局部最大区域集合，针对局部最大区域集合进行扩展局部最大区域操作得到扩展后的局部最大区域集合，针对扩展后的局部最大区域集合进行过滤矩形框处理，得到包含有多个元素的一个矩形框集合SFm，实现人头锁定的目的。2.如权利要求1所述的基于RGB-D相机的人数统计方法，其特征在于，步骤二和步骤三中的求取每幅深度图的俯视图，采用的公式如下：xGyG=p11-p31xp12-p32xp21-p31yp22-p32y-1p34x-p14p34y-p24]]>sin(θ)=Hc/xG2+yG2+Hc2]]>len＝m*rzP=Hc-len*sin(θ)xp=xG(1-zpHC)yp=yG(1-zpHC)]]>其中，θ为深度图上经过P(xp,yp,zp)点的对应射线与地平面的夹角；G(xG,yG,0)为过P点的斜线与地平面的交点；HC为相机高度；m(0＜m＜D)为P点在深度图中的深度值，其中D为用户设定的最大像素值；r为单位深度值所对应的世界空间中的距离；利用以下公式得到俯视图I：u=rxxp+dxv=ryyp+dyI(u,v)=zp]]>其中，(u,v)表示深度图上的点P对应的俯视图I中的像素点，I(u,v)表示像素点(u,v)处的像素值；针对深度图中的每一个点，得到该点对应的俯视图中的像素点和该像素点处的像素值，所有的像素值形成俯视图I。3.如权利要求2所述的基于RGB-D相机的人数统计方法，其特征在于，所述步骤三中的针对俯视图进行去背景操作得到前景图片，采用的公式如下：其中，δF为用户设定的用于提取前景的阈值，IF(u,v)表示前景图片IF中像素点(u,v)处的像素值，Ib(u,v)为背景图Ib在像素点(u,v)位置处的像素值，Im(u,v)表示俯视图Im像素点(u,v)处的像素值。4.如权利要求3所述的基于RGB-D相机的人数统计方法，其特征在于，所述步骤三中的针对前景图片进行分块操作得到分块后的图片，采用的公式如下：IB(x,...

【专利技术属性】
技术研发人员：王国强，宋焕生，孙士杰，王韬，
申请(专利权)人：上海萨戈电子科技有限公司，
类型：发明
国别省市：上海;31