一种基于RGB-D摄像头的视觉识别与定位方法技术

本发明专利技术提供了一种基于RGB‑D摄像头的视觉识别与定位方法，包括以下步骤：1)、通过使用Kinect摄像头传感器进行彩色图像和深度图像的采集后转化为三维点云，并且对场景中的平面进行提取；2)、将步骤1)中的平面进行提取后，对剩下的点云进行物体的提取和分割；3)、将步骤2)中获得的物体的点云集合分别进行识别和匹配；4)、将步骤2)获取到的物体点云通过计算，实现物体的定位。该方法基于RGB‑D传感器Kinect II采集的三维点云图像进行物体的识别和定位，没有涉及到物体定位时多幅图像间匹配等复杂运算，大大地提高了计算效率，同时具备实时性强、适用于日常生活复杂环境的优点。

A visual recognition and positioning method based on RGB D camera

The present invention provides a method for visual identification and localization of RGB based on D camera, which comprises the following steps: 1), through the depth image and color image using the Microsoft Kinect camera sensor and converted into 3D point cloud, and on the plane in the scene is extracted; 2), step 1) extract in the plane, extraction and segmentation of objects for the rest of the point cloud; 3), step 2) obtained object point cloud collection were identified and matched; 4), step 2) to obtain the object point cloud through calculation, achieve the object location. The method of identification and localization of 3D RGB D sensor Kinect II acquisition of Microsoft's cloud based image, not related to the object location among multi images, complex operation, greatly improves the computational efficiency, but also has the advantages of real-time, suitable for daily life in complex environment.

【技术实现步骤摘要】

本专利技术涉及机器视觉的识别与定位领域，尤其是一种基于RGB-D摄像头的视觉识别与定位方法。
技术介绍
目前，现有的基于多目彩色图像相机的物体识别与定位系统，大多是通过立体匹配不同传感器采集的图像，获取每一个像素点在空间中的位置，存着在成本较大、运行速度缓慢、系统复杂等问题。物体边缘分割大多是基于彩色摄像机的图像进行凸包提取的方法实现，该处理方法需要考虑物体外表色彩，在碰到背景颜色与物体相似的情况时容易产生误判，而凸包提取的方法也存在物体凸包轮廓错误及包含背景部分的问题。相对于现有的基于多目彩色图像相机进行物体识别与定位的方法，使用RGB-D传感器进行物体识别和定位的方法具有很多优势：首先，计算量小、运算速度快、实时性强、物体定位成本低，微软公司推出的RGB-D传感器KinectII降低了三维扫描的成本，直接向用户提供分辨率较高的彩色图像、深度图像及点云图像，仅通过一个RGB-D传感器，便可以直接获得每一个像素点在相机坐标系中的位置，无须通过立体匹配多目系统中不同传感器采集的图像来获取每一个像素点在空间中的位置；其次，精确度与鲁棒性有所提高，基于RGB-D摄像头提供的深度图像及点云图像，可直接进行平面提取和物体的分割及定位，有效避免了物体本身外表和背景颜色的影响，可以减少误判情况的发生，提高系统的准确性和稳定性。
技术实现思路
本专利技术的目的是针对上述现有技术的不足，提供了一种基于RGB-D摄像头的视觉识别与定位方法，该方法计算量小、实时性强，并且能够适应日常生活场景。本专利技术的目的可以通过如下技术方案实现：一种基于RGB-D摄像头的视觉识别与定位方法，所述方法包括以下步骤：1)通过微软Kinect摄像头传感器对物体进行彩色图像和深度图像的采集后转化为三维点云图像；2)对步骤1)获得的三维点云图像的每一个点进行相应的法向量计算；3)对步骤2)获得的法向量集合，运用区域生长算法对物体所放置的背景平面进行提取；4)将步骤3)中提取出的背景平面的点去除，并对剩下的点云进行物体点云集合提取和凸包提取处理；5)将步骤4)中提取的各物体点云集合与对应的凸包相结合，进行二次区域生长，实现各物体完整轮廓的分割及完整点集的提取；6)根据步骤5)中获得的各物体的完整轮廓，提取相应的彩色图像并分别进行特征提取和匹配识别；7)将步骤5)获得的各物体的完整轮廓内的点云集合进行求均值运算，获得各物体在相机坐标系中的位置信息；8)将步骤7)得到的各物体在相机坐标系中的位置信息，进行坐标系变换，转换到世界坐标系当中，实现各物体的定位。优选地，步骤2)中，计算法向量的方法为：设Pk为想要求得表面法向量的点，首先找到点Pk在图像中上下左右附近四个点P1、P2、P3和P4，P1和P3组成向量P2和P4组成向量则点Pk的表面法向量可以通过叉乘得到，具体如下：三维点云图像的每一个点的法向量均通过如上公式计算得到。优选的，步骤3)中，先顺序扫描三维点云图像的每一个点的法向量，遇到近似竖直的法向量则继续寻找该点附近且法向量为近似竖直的点，加入到潜在平面点集中，若潜在平面点集中点的数目大于设定的阈值，则认为该潜在平面点集为一个平面点集合并且把潜在平面点集加入到平面集合中，否则继续扫描剩下的法向量，直到扫描结束后，即可获得平面集合，实现平面的提取。优选的，步骤5)中，物体完整轮廓的分割及完整点集的提取方法包括以下步骤：a)输入三维点云、平面点集合和平面凸包范围内的点；b)顺序扫描平面凸包范围内的点，寻找属于凸包范围内但不属于平面的点；c)步骤b)中找到的凸包范围内的非平面点后，继续寻找该点附近所有在凸包内的非平面点，并且加入到潜在物体点集中；d)若步骤c)中的潜在物体点集中点的数目小于设定的阈值，则回到步骤b)继续扫描剩下的平面凸包点；e)若步骤c)中的潜在物体点集中点的数目大于等于设定的阈值，则认为该潜在物体点集为一个物体点集合；f)继续在步骤e)中的潜在物体点集附近寻找凸包边界上的点加入到潜在物体点集中，即把在凸包外的物体点也寻找出来并且加入潜在物体点集中；g)把步骤f)中得到的潜在物体点集加入到物体集合中；h)若仍存在点云中的点未被扫描，则回到步骤b)继续寻找新的物体点集；i)若点云中的全部点已经扫描完毕，则算法结束获得物体集合。优选地，步骤6)具体为：首先，通过物体的三维点云集合获得物体在彩色图像中对应的区域，把物体所在的图像区域截取下来后使用OpenCV的FeatureDetector::detect()函数获得surf特征点；其次，进一步使用OpenCV的Feature2D::compute()函数获得surf特征向量，物体的surf特征向量作为该物体的识别特征加入到识别库中，或者直接作为该物体识别匹配的特征向量，在实现物体的surf特征向量和库中相应的surf特征向量进行匹配时，使用最近邻开源库FLANN进行特征向量的匹配；最后，使用最近邻开源库FLANN进行特征向量的匹配，具体就是使用OpenCV的DescriptorMatcher::match()函数实现。本专利技术与现有技术相比，具有如下优点和有益效果：1、本专利技术采用RGB-D传感器，相比于现有的基于多目彩色图像相机的物体识别与定位系统，没有涉及到物体定位时多幅图像间匹配等复杂运算，拥有计算量小、计算效率高、运算速度快、实时性强、物体定位成本低、精确度高、鲁棒性强等优势，可实现准确快速稳定的物体识别与定位；2、本专利技术运用区域生长算法，在三维点云中进行背景平面提取，拥有计算量小，准确分割等特点，能够实现背景平面的快速分离与提取，提高了物体的精准提取、定位与识别的可能性；3、本专利技术将各物体的点云集合与对应的凸包相结合，运用二次区域生长算法，剔除物体凸包内属于背景部分的点，增加凸包外属于物体部分的点，实现了物体轮廓的完整提取，提高了物体定位的精确度。附图说明图1为本专利技术方法的流程图。图2为本专利技术表面的法向量叉乘示意图。图3为本专利技术平面区域生长算法流程图。图4为本专利技术物体完整轮廓的分割及完整点集的提取流程图。图5(a)为Kinect相机坐标系示意图，图5(b)为实际的世界坐标系示意图。具体实施方式下面结合实施例及附图对本专利技术作进一步详细的描述，但本专利技术的实施方式不限于此。实施例：本实施例提供了一种基于RGB-D摄像头的视觉识别与定位方法，如图1所示，主要由三维点云的采集、平面提取、物体的分割、物体的特征提取和匹配、物体的定位组成，所述方法具体包括以下步骤：步骤一、通过微软Kinect摄像头传感器对物体进行彩色图像和深度图像的采集后转化为三维点云图像；本步骤中，微软的Kinect传感器可以采集RGB-d图像，通过自带的API函数或者开放自然交互(OpenNaturalInteraction,OpenNI)、点云库(PointCloudLibrary,PCL)等第三方函数库，即可获得三维点云图像。步骤二、对步骤一获得的三维点云图像的每一个点进行相应的法向量计算；如图2所示，为本专利技术表面的法向量叉乘示意图，Pk为想要求得表面法向量的点，首先找到点Pk在图像中上下左右附近四个点P1、P2、P3和P4，P1和P3组成向量P2和P4组成向量则点Pk的表面法向量可以通过叉乘得到，具体如下：三维点云图像本文档来自技高网...

【技术保护点】
一种基于RGB‑D摄像头的视觉识别与定位方法，其特征在于：所述方法包括以下步骤：1)通过微软Kinect摄像头传感器对物体进行彩色图像和深度图像的采集后转化为三维点云图像；2)对步骤1)获得的三维点云图像的每一个点进行相应的法向量计算；3)对步骤2)获得的法向量集合，运用区域生长算法对物体所放置的背景平面进行提取；4)将步骤3)中提取出的背景平面的点去除，并对剩下的点云进行物体点云集合提取和凸包提取处理；5)将步骤4)中提取的各物体点云集合与对应的凸包相结合，进行二次区域生长，实现各物体完整轮廓的分割及完整点集的提取；6)根据步骤5)中获得的各物体的完整轮廓，提取相应的彩色图像并分别进行特征提取和匹配识别；7)将步骤5)获得的各物体的完整轮廓内的点云集合进行求均值运算，获得各物体在相机坐标系中的位置信息；8)将步骤7)得到的各物体在相机坐标系中的位置信息，进行坐标系变换，转换到世界坐标系当中，实现各物体的定位。

【技术特征摘要】
1.一种基于RGB-D摄像头的视觉识别与定位方法，其特征在于：所述方法包括以下步骤：1)通过微软Kinect摄像头传感器对物体进行彩色图像和深度图像的采集后转化为三维点云图像；2)对步骤1)获得的三维点云图像的每一个点进行相应的法向量计算；3)对步骤2)获得的法向量集合，运用区域生长算法对物体所放置的背景平面进行提取；4)将步骤3)中提取出的背景平面的点去除，并对剩下的点云进行物体点云集合提取和凸包提取处理；5)将步骤4)中提取的各物体点云集合与对应的凸包相结合，进行二次区域生长，实现各物体完整轮廓的分割及完整点集的提取；6)根据步骤5)中获得的各物体的完整轮廓，提取相应的彩色图像并分别进行特征提取和匹配识别；7)将步骤5)获得的各物体的完整轮廓内的点云集合进行求均值运算，获得各物体在相机坐标系中的位置信息；8)将步骤7)得到的各物体在相机坐标系中的位置信息，进行坐标系变换，转换到世界坐标系当中，实现各物体的定位。2.根据权利要求1所述的一种基于RGB-D摄像头的视觉识别与定位方法，其特征在于：步骤2)中，计算法向量的方法为：设Pk为想要求得表面法向量的点，首先找到点Pk在图像中上下左右附近四个点P1、P2、P3和P4，P1和P3组成向量P2和P4组成向量则点Pk的表面法向量可以通过叉乘得到，具体如下：νp→=ν2→×ν1→]]>三维点云图像的每一个点的法向量均通过如上公式计算得到。3.根据权利要求1所述的一种基于RGB-D摄像头的视觉识别与定位方法，其特征在于：步骤3)中，先顺序扫描三维点云图像的每一个点的法向量，遇到近似竖直的法向量则继续寻找该点附近且法向量为近似竖直的点，加入到潜在平面点集中，若潜在平面点集中点的数目大于设定的阈值，则认为该潜在平面点集为一个平面点集合并且把潜在平面点集加入到平面集合中，否则继续扫描剩下的法向量...

【专利技术属性】
技术研发人员：张智军，张文康，黄永前，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44