一种基于RGB-D相机的障碍物感知方法技术

本发明专利技术公开了一种基于RGB‑D相机的障碍物感知方法，包括采用RGB‑D相机采集物体的RGB图像和深度图像，并根据针孔相机模型计算物体成像的像素坐标对应的三维空间的世界坐标；采用最大类间方差法分离出背景并剔除；基于几何模型去除地面干扰物；采用形态学运算对深度图像进行散斑的去除；采用Graham’s Scan法求出所有障碍物的凸包，得到障碍物的位置和大小等信息。采用CamShift算法对障碍物进行跟踪，获取障碍物位姿的观测值，根据障碍物的速度得到其位姿的预测值，应用卡尔曼滤波算法对障碍物的位姿进行最优估计，并根据优化后的位姿估计障碍物速度。本发明专利技术具有较强的实时性和适用性。

A Barrier Sensing Method Based on RGB-D Camera

The invention discloses an obstacle sensing method based on RGB D camera, which includes collecting RGB image and depth image of object by RGB D camera, calculating world coordinates of three-dimensional space corresponding to pixel coordinates of object imaging according to pinhole camera model, separating background and eliminating background by maximum interspecific variance method, removing ground disturbance based on geometric model, and adopting morphology. The algorithm removes speckles from the depth image, and uses Graham's Scan method to get the convex hulls of all obstacles and the location and size of obstacles. The CamShift algorithm is used to track the obstacles and obtain the observation value of the obstacles'position and posture. According to the speed of the obstacles, the prediction value of the obstacles' position and posture is obtained. The Kalman filter algorithm is used to estimate the optimal position and posture of the obstacles, and the velocity of the obstacles is estimated according to the optimized position and posture. The invention has strong real-time performance and applicability.

【技术实现步骤摘要】
一种基于RGB-D相机的障碍物感知方法
本专利技术涉及计算机视觉领域，具体涉及一种基于RGB-D相机的障碍物感知方法。
技术介绍
移动机器人的工作环境通常是不确定和非结构化的，移动机器人需要实现对外界环境的感知，才能获取外界环境信息进而完成路径规划，最终实现安全导航。现有的基于计算机视觉的障碍物感知方法普遍存在计算量大，实时性差的缺点，无法满足移动机器人执行任务时的导航应用需求。RGB-D相机是一种近年来新兴的视觉传感器，与传统的激光雷达、超声传感器相比，RGB-D相机成本低廉且能提供丰富的信息，使用它可从同时获取周围环境的光学图像以及光学图像上物体的位置信息，因此在移动机器人室内导航领域逐渐受到重视。
技术实现思路
为了克服现有技术中的缺陷与不足，本专利技术提供一种基于RGB-D相机的障碍物感知方法，本专利技术采用如下技术方案：一种基于RGB-D相机的障碍物感知方法，包括如下步骤：S1根据RGB-D相机采集物体的RGB图像和深度图像，读取到物体的彩色信息和距离信息，根据针孔相机模型计算物体成像的像素坐标对应的三维世界坐标，采用最大类间方差法分离出深度图像的背景并剔除；S2对剔除背景后的图像，基于几何模型去除地面干扰物；S3对去除地面干扰物的图像，采用形态学运算对深度图像进行噪声和散斑的去除；S4对去除噪声和散斑的图像，采用Graham’sScan法求出所有障碍物的凸包，得到障碍物的信息，所述信息包括障碍物的位置和大小；S5采用CamShift算法对障碍物进行跟踪，获取障碍物位姿的观测值；S6根据障碍物的速度得到其位姿的预测值，应用卡尔曼滤波算法对障碍物的位姿进行最优估计，并根据优化后的位姿估计障碍物速度。所述采用最大类间方差法分离出背景并剔除，具体为：通过最大类间方差法得到深度图像的最佳阈值，根据阈值分割深度图像的背景和目标，将背景剔除。所述形态学运算包括开运算和闭运算，采用开运算去除噪声，然后再采用闭运算进行散斑去除。所述S4中，具体为：S4.1、点集排序：找到剔除背景之后的所有点中横坐标值最小的点(x0,y0)作为基准点S[0]，求其余所有点(x，y)相对于该基准点的极角atan2y-y0,x-x0),按所得极角大小对所有点进行排序,得到S[1],S[2],…,S[n]；S4.2、栈扫描：建立栈，S[0]、S[1]、S[2]作为初始栈点，按排好的序一次加入新点得到边，若与上一条边符合左转关系则进栈继续，若右转则出栈，直到成左转关系，进栈继续，处理完所有点之后栈中的点即为凸包；S4.3、阈值处理：计算所得凸包面积，当面积小于一定的阈值的时候不予考虑，最终输出障碍物的凸包坐标。所述S5中CamShift算法是根据障碍物对应的RGB图像中的颜色信息，然后采用颜色直方图对障碍物进行跟踪。所述S6中卡尔曼滤波将障碍物的位置作为状态变量，在较短的时间间隔内假设障碍物的运动为匀速运动，将障碍物加速度的变化考虑为高斯白噪声。本专利技术的有益效果：本专利技术采用计算机视觉技术和卡尔曼滤波算法实现障碍物的识别和跟踪，成本低及实时性强，可以提高移动机器人对动态环境的适应能力。附图说明图1是本专利技术的工作流程图；图2是本专利技术的RGB-D相机的针孔相机成像模型图；图3(a)-图3(d)是本专利技术的Graham’sScan法求解凸包的示意图；图4是本专利技术的采用CamShift算法对障碍物进行跟踪的流程图。具体实施方式下面结合实施例及附图，对本专利技术作进一步地详细说明，但本专利技术的实施方式不限于此。实施例如图1、图2、图3(a)-图3(d)及图4所示，一种基于RGB-D相机的障碍物感知方法，通过最大类间方差法可以求得深度图像的最佳阈值，根据该阈值可以大致分割出深度图像中的背景和目标，接着根据针孔相机模型可以计算出图像上的每个像素点对应的场景点的三维空间坐标，设定一个高度阈值，对于低于该阈值的场景点，都认为是地面干扰区域，直接进行去除，然后采用形态学运算中的开运算去除噪声，采用闭运算填充障碍物中的散斑，采用Graham’sScan法对障碍物作凸包运算，得到障碍物的位置和大小等信息。针对动态障碍物，根据提取到的障碍物在RGB图像中对应的颜色信息，采用CamShift算法对障碍物进行跟踪，获取障碍物位姿的观测值，根据障碍物的速度得到其位姿的预测值，应用卡尔曼滤波算法对障碍物的位姿进行最优估计，在估计过程中，障碍物的状态变量由其位置坐标构成，并且假设在较短的时间间隔内障碍物的运动为匀速运动，将障碍物加速度的变化考虑为高斯白噪声。完成障碍物的跟踪后，根据优化后的位姿估计障碍物速度。如图1所示，包括如下步骤：第一步，根据RGB-D相机采集到的RGB图像和深度图像，可以读取到物体的彩色信息和距离信息，可以读取到物体的彩色信息和距离信息，然后根据针孔相机模型计算物体成像的像素坐标对应的三维世界坐标。参考图2，O-x-y-z为相机坐标系，O为摄像机光心，也是针孔模型中的针孔。现实世界中的三维空间点P经过小孔O投影后，落在物理成像平面O’-x’-y’-z’,且物理成像平面到小孔的距离为f(焦距)。具体计算方式如下：设某像素坐标p＝[uv]T，其深度值为d，已知相机的内参为fx、fy、cx、cy，根据相似三角形原理可以得到像素坐标和三维坐标P＝[XYZ]T的坐标转换关系第二步，采用最大类间方差法分离出背景并剔除；设前景(即目标)和背景的分割阈值为T，前景点数占整幅图像的比例为w0,其平均灰度为μ0；背景点数占整幅图像的比例为w1,其平均灰度为μ1，图像的总体平均灰度记作μ,类间方差记作σ。σ＝w0w1(μ0-μ1)2，遍历阈值T使得方差σ最大，此时前景和背景差异最大，错分概率最小，可认为此时的阈值T为最佳阈值。根据该阈值可以大致分割出深度图像中的背景和目标。第三步，基于几何模型去除地面干扰物。具体模型如下：设深度相机光心距地面的高度为H，高度阈值为Δh。图像中某像素点P经过针孔成像模型之后得出的三维坐标为P＝[XPYPZP]T，可得点P到地面的坐标为hP＝H-ZP。若hp＜Δh,认为该像素点属于地面干扰区域，直接进行去除。第四步，采用形态学运算对深度图像进行噪音和散斑的去除，包括用开运算去除噪声，采用闭运算填充障碍物的散斑。具体定义如下：对应图像X和结构元素S，S对图像X作开运算表示为X°S，S对图像X作闭运算表示为X·S，其中第五步，采用Graham’sScan法求出所有障碍物的凸包，得到障碍物的信息，所述信息包括障碍物的位置和大小，图3(a)-图3(d)所示；S5.1点集排序：找到剔除背景之后的所有点中横坐标值最小的点(x0，y0)作为基准点S[0]，求其余所有点(x，y)相对于该基准点的极角atan2(y-y0,x-x0),按所得极角大小对所有点进行排序,得到S[1],S[2],…,S[n]。S5.2栈扫描：建立栈，S[0]、S[1]、S[2]作为初始栈点，按排好的序一次加入新点得到边，若与上一条边符合左转关系则进栈继续，若右转则出栈，直到成左转关系，进栈继续。处理完所有点之后栈中的点即为凸包。S5.3阈值处理，计算所得凸包面积，当面积小于一定的阈值的时候不予考虑，最终输出障碍物的凸包坐标。第六步，根据障碍物的速度得到其位姿的预测值。S6.1初始化一个搜索窗本文档来自技高网...

【技术保护点】
1.一种基于RGB‑D相机的障碍物感知方法，其特征在于，包括如下步骤：S1根据RGB‑D相机采集物体的RGB图像和深度图像，读取到物体的彩色信息和距离信息，根据针孔相机模型计算物体成像的像素坐标对应的三维世界坐标，采用最大类间方差法分离出深度图像的背景并剔除；S2对剔除背景后的图像，基于几何模型去除地面干扰物；S3对去除地面干扰物的图像，采用形态学运算对深度图像进行噪声和散斑的去除；S4对去除噪声和散斑的图像，采用Graham’s Scan法求出所有障碍物的凸包，得到障碍物的信息，所述信息包括障碍物的位置和大小；S5采用CamShift算法对障碍物进行跟踪，获取障碍物位姿的观测值；S6根据障碍物的速度得到其位姿的预测值，应用卡尔曼滤波算法对障碍物的位姿进行最优估计，并根据优化后的位姿估计障碍物速度。

【技术特征摘要】
1.一种基于RGB-D相机的障碍物感知方法，其特征在于，包括如下步骤：S1根据RGB-D相机采集物体的RGB图像和深度图像，读取到物体的彩色信息和距离信息，根据针孔相机模型计算物体成像的像素坐标对应的三维世界坐标，采用最大类间方差法分离出深度图像的背景并剔除；S2对剔除背景后的图像，基于几何模型去除地面干扰物；S3对去除地面干扰物的图像，采用形态学运算对深度图像进行噪声和散斑的去除；S4对去除噪声和散斑的图像，采用Graham’sScan法求出所有障碍物的凸包，得到障碍物的信息，所述信息包括障碍物的位置和大小；S5采用CamShift算法对障碍物进行跟踪，获取障碍物位姿的观测值；S6根据障碍物的速度得到其位姿的预测值，应用卡尔曼滤波算法对障碍物的位姿进行最优估计，并根据优化后的位姿估计障碍物速度。2.根据权利要求1所述的障碍物感知方法，其特征在于，所述采用最大类间方差法分离出背景并剔除，具体为：通过最大类间方差法得到深度图像的最佳阈值，根据阈值分割深度图像的背景和目标，将背景剔除。3.根据权利要求1所述的障碍物感知方法，其特征在于，所述形态学运算包括开运算和闭运算，采用开运算去除噪声...

【专利技术属性】
技术研发人员：吴玉香，郭泽辉，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44