一种基于RGB-D低视角情况下的室内人体检测与跟踪方法技术

本发明专利技术涉及一种基于RGB‑D低视角情况下的室内人体检测与跟踪方法，属于人体检测技术领域，具体包括以下步骤，利用华硕Xtion Pro进行点云采集，得到3D点云，然后对3D点云进行降噪与降采样处理，以及对地面进行检测和移除，接着利用两点之间的欧氏距离进行3D聚类，通过计算各聚类的HOG特征，并馈送到预先训练的SVM二进制软分类器，具有高HOG特性的被归类为人，从而达到人体检测的目的，最后利用数据相干过程中的颜色一致性和距离一致性构成的两项似然概率实现人体的跟踪。本发明专利技术精度高，广泛用于低视角情况下的室内人体检测与跟踪。

【技术实现步骤摘要】
一种基于RGB-D低视角情况下的室内人体检测与跟踪方法
本专利技术涉及一种基于RGB-D低视角情况下的室内人体检测与跟踪方法，属于人体检测

技术介绍
人体检测和追踪是移动机器人在室内环境中执行任务的关键。对于移动机器人来说，它必须能区别人体和其他障碍物，从而根据其任务调整轨迹。比如服务机器人必须在特定的环境中对特定的人提供帮助。目前已经有一些方法通过单纯的使用RGB-D深度相机或者雷达测距实现人体检测与跟踪。随着RGB-D深度相机的出现，比如微软的Kinect或者华硕的XtionPro,其可以以30帧/s的速率捕捉640×480像素的图像，同时由于其能耗小等优点，近几年被广泛的应用于机器人的3D感知以及室内定位和识别等领域。目前已经有一些较成功的人体检测算法，然而这些算法都是基于人的整个身体，尤其是头部可见的情况。在一些情况下，如当机器人离物体特别近的情况下，物体的大部分会在传感器感知范围以外。同时，当RGB-D传感器安装在小型机器人上时，如Turtlebot2。它的视线非常接近于地面，因此只能观测到人的下半身或者仅有腿部可见。在低视角情况下人体检测与跟踪是非常困难的，主要是一些主要的特征都丢失了，没有明显的特征来区分人体和其他物体，如无法利用相应的特征将桌子的腿、椅子等与人体区别开来。当RGB-D安装在Turtlebot2上时，如果人离机器人非常近的话，(距离<100cm)，在大多数情况下，从脚到腰部都可见，基于此，我们提出了一种低视角情况下的人体检测与跟踪算法。
技术实现思路
为解决现有技术存在的技术问题，本专利技术提供了一种基于RGB-D低视角情况下的室内人体检测与跟踪方法，其利用在有限的高度上对地面上的物体进行聚类，结合HOG特征和SVM分类器区分人或物，然后利用颜色一致性和距离一致性构成的联合似然概率对人体进行跟踪，准确率更高。为实现上述目的，本专利技术所采用的技术方案为一种基于RGB-D低视角情况下的室内人体检测与跟踪方法，包括以下步骤，步骤a.数据的采集与预处理利用华硕XtionPro进行点云采集，得到密集3D点云，通过直通滤波器对密集3D点云进行降噪处理，以及通过三维体素网格滤波器对降噪后的3D点云进行降采样处理；步骤b.地面检测及滤除利用基于RANSAC的最小二乘法检测经过步骤a处理的3D初始点云中的地面，对于非第一帧数据而言，上一帧检测得到的地面参数可以作为下一帧的初始参数，根据初始给定的地面参数，以及预设的初始距离阈值，利用RANSAC方法对当前帧数据进行地面检测，并依据地面的各三维点在3D点云中的索引，将其从3D点云中滤除；对于第一帧数据，可根据RGB-D传感器在机器人上的安装位置确定与地面的相对关系，从而给定地面的初始参数；步骤c.聚类在移除地面的3D点云中获取离地面130cm以内的点云数据，然后利用两点之间的欧氏距离进行3D聚类，当每对点之间的欧氏距离小于预定义距离阈值时，这两点被定义为属于同一个类；其中，聚类需要设定两个初始阈值：即属于同一个聚类的两点之间的最小距离和生成一个聚类所需的最小点数；步骤d.HOG+SVM分类将经3D聚类后边界框内的点云投影到RGB图像，利用获得的图像模块，计算其HOG描述器，然后将所得到的HOG描述器发送给预先训练好的SVM分类器，计算各聚类的HOG置信度；当计算的HOG置信度高于设定的阈值时，则判定该聚类为人，否则则不是；步骤e.跟踪将得到的人体聚类作为跟踪模块的输入，即作为下一步要跟踪的对象，然后利用各帧中检测得到的人体聚类与现有的跟踪对象进行匹配，具体采用基于距离一致性和颜色一致性相联合的方法，计算当前检测到的人体与已知跟踪对象间的最大似然概率。优选的，所述步骤c中，在进行聚类时，1)首先创建3D点云的Kd树，作为之后提取点云时所用的搜索方法；2)设置聚类的空列表C，以及点云的空队列；3)对于点云中的每一个点p，以其为中心，以预设的距离阈值为半径，搜索该球内的所有邻近点，对于搜索得到的邻近点，首先检查其是否已加入其它的聚类，如果没有，则将该近邻点加入队列Q；4)当队列Q中的点都被处理过之后，将队列Q添加到聚类C中；5)当初始点云中所有的点都被处理过后，聚类结束。优选的，所述步骤c中，在聚类完成后，需要对过聚类和欠聚类问题进行进一步处理；过聚类的处理如下：对于每一个得到的聚类Ci，首先计算其中心点在XZ平面上的投影pi，如果pi和聚类Cj的中心投影点pj的距离小于设定的阈值时，则认为聚类Ci和Cj属于同一个聚类，进而将其合并；欠聚类的处理如下：对于每一个聚类，计算它们的几何信息，具体包括宽度，深度，高度信息；如果一些聚类的几何信息远大于设定好的阈值，利用颜色信息进一步分割，即将具有相同颜色的点归为同一个类；对于那些点太少的聚类，直接舍弃。优选的，所述步骤e中，距离一致性定义为：给定一个人体检测聚类Ci，通过处理全局最近邻数据以找到最接近的跟踪对象Tj，如果它们的距离小于阈值，检测的聚类就被认为与跟踪的聚类有联系，然后对于跟踪对象Tj中的每个点pi,j，使用八叉树法来寻找检测目标Ci中的每个点pj,i，计算其之间的距离，点pi,j和点pj,i之间的距离一致性概率定义如下：其中α是权重向量；颜色一致性定义为：当比较当前检测聚类Ci和跟踪对象Tj的颜色信息时，通过计算找到最近一对点<pj,i,pi,j>之间的颜色一致性，颜色一致性可在RGB、HSV或者其他颜色空间中计算；以HSV空间为例，点pi,j和pj,i之间的颜色一致性概率定义如下：其中ci,j和cj,i分别表示pi,j和pj,i的HSV信息，β表示权重；pi,j和pj,i之间的联合一致性概率定义为：L(pi,j,pj,i)＝Ld(pi,j,pj,i)Lc(pi,j,pj,i)；对于每个跟踪对象Tj和检测聚类Ci的最大联合似然概率定义为：如果L(j,i)高于设定的阈值，则表明当前聚类Ci和跟踪对象Tj是同一个人，反之则不是，如果没有找到与Ci相联系的跟踪对象，则创建新的跟踪对象。与现有技术相比，本专利技术具有以下技术效果：本专利技术主要针对当RGB-D传感器离地面较低，即低视角的情况下，或者当检测物体离传感器较近时，仅有人体下半身可见的情况，提出了一种基于人体下半身为最主要特征的人体检测算法。该算法能够有效提高人体检测的准确度，其基于人体在地面上移动的常识，首先对场景中的地面进行检测和移除，在有限的高度上对地面上的物体进行聚类，通过计算它们的HOG特征然后馈送到预先训练的SVM二进制软分类器，具有高HOG置信值的被归类为人，反之则归类为其它。然后把检测得到的人体结果作为跟踪模块的输入，利用颜色一致性性和距离一致性构成的联合似然概率，寻找和当前检测到的人体聚类最接近的跟踪对象，当最大似然概率大于设定阈值时，认为当前检测得到的人体聚类与跟踪对象为同一人。附图说明图1为本专利技术的流程图。图2为本专利技术采集到密集3D点云数据图。图3为本专利技术中密集3D点云数据经过预处理后的点云图。图4为本专利技术在不同环境下的识别情况示意图。具体实施方式为了使本专利技术所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所本文档来自技高网...

【技术保护点】
1.一种基于RGB‑D低视角情况下的室内人体检测与跟踪方法，其特征在于，包括以下步骤，步骤a.数据的采集与预处理利用华硕Xtion Pro进行点云采集，得到密集3D点云，通过直通滤波器对密集3D点云进行降噪处理，以及通过三维体素网格滤波器对降噪后的3D点云进行降采样处理；步骤b.地面检测及滤除利用基于RANSAC的最小二乘法检测经过步骤a处理的3D初始点云中的地面，对于非第一帧数据而言，上一帧检测得到的地面参数可以作为下一帧的初始参数，根据初始给定的地面参数，以及预设的初始距离阈值，利用RANSAC方法对当前帧数据进行地面检测，并依据地面的各三维点在3D点云中的索引，将其从3D点云中滤除；对于第一帧数据，可根据RGB‑D传感器在机器人上的安装位置确定与地面的相对关系，从而给定地面的初始参数；步骤c.聚类在移除地面的3D点云中获取离地面130cm以内的点云数据，然后利用两点之间的欧氏距离进行3D聚类，当每对点之间的欧氏距离小于预定义距离阈值时，这两点被定义为属于同一个类；其中，聚类需要设定两个初始阈值：即属于同一个聚类的两点之间的最小距离和生成一个聚类所需的最小点数；步骤d.HOG+SVM分类将经3D聚类后边界框内的点云投影到RGB图像，利用获得的图像模块，计算其HOG描述器，然后将所得到的HOG描述器发送给预先训练好的SVM分类器，计算各聚类的HOG置信度；当计算的HOG置信度高于设定的阈值时，则判定该聚类为人，否则则不是；步骤e.跟踪将得到的人体聚类作为跟踪模块的输入，即作为下一步要跟踪的对象，然后利用各帧中检测得到的人体聚类与现有的跟踪对象进行匹配，具体采用基于距离一致性和颜色一致性相联合的方法，计算当前检测到的人体与已知跟踪对象间的最大似然概率。...

【技术特征摘要】
1.一种基于RGB-D低视角情况下的室内人体检测与跟踪方法，其特征在于，包括以下步骤，步骤a.数据的采集与预处理利用华硕XtionPro进行点云采集，得到密集3D点云，通过直通滤波器对密集3D点云进行降噪处理，以及通过三维体素网格滤波器对降噪后的3D点云进行降采样处理；步骤b.地面检测及滤除利用基于RANSAC的最小二乘法检测经过步骤a处理的3D初始点云中的地面，对于非第一帧数据而言，上一帧检测得到的地面参数可以作为下一帧的初始参数，根据初始给定的地面参数，以及预设的初始距离阈值，利用RANSAC方法对当前帧数据进行地面检测，并依据地面的各三维点在3D点云中的索引，将其从3D点云中滤除；对于第一帧数据，可根据RGB-D传感器在机器人上的安装位置确定与地面的相对关系，从而给定地面的初始参数；步骤c.聚类在移除地面的3D点云中获取离地面130cm以内的点云数据，然后利用两点之间的欧氏距离进行3D聚类，当每对点之间的欧氏距离小于预定义距离阈值时，这两点被定义为属于同一个类；其中，聚类需要设定两个初始阈值：即属于同一个聚类的两点之间的最小距离和生成一个聚类所需的最小点数；步骤d.HOG+SVM分类将经3D聚类后边界框内的点云投影到RGB图像，利用获得的图像模块，计算其HOG描述器，然后将所得到的HOG描述器发送给预先训练好的SVM分类器，计算各聚类的HOG置信度；当计算的HOG置信度高于设定的阈值时，则判定该聚类为人，否则则不是；步骤e.跟踪将得到的人体聚类作为跟踪模块的输入，即作为下一步要跟踪的对象，然后利用各帧中检测得到的人体聚类与现有的跟踪对象进行匹配，具体采用基于距离一致性和颜色一致性相联合的方法，计算当前检测到的人体与已知跟踪对象间的最大似然概率。2.根据权利要求1所述的一种基于RGB-D低视角情况下的室内人体检测与跟踪方法，其特征在于，所述步骤c中，在进行聚类时，1)首先创建3D点云的Kd树，作为之后提取点云时所用的搜索方法；2)设置聚类的空列表C，以及点云的空队列；3)对于点云中的每一个点p，以其为中心，以预设的距离阈值为半径，搜索该球内的所有邻近点，对于搜索得到的邻近点，首先检查其是否已加入其它的...

【专利技术属性】
技术研发人员：袁泽慧，段荣杰，安晓红，李世中，张亚，
申请(专利权)人：中北大学，
类型：发明
国别省市：山西,14