基于RGBD相机的目标物体识别与定位方法及移动机器人技术

本发明专利技术适用于物体识别技术领域，提供了一种基于RGBD相机的目标物体识别与定位方法及移动机器人，该方法包括：S1、基于RGBD相机实时获取一帧RGB图像和一帧Depth深度图像；S2、在RGB图像查找与模板图像差异度最低的目标区域；S3、基于目标区域构建包含目标物体的三维点云，并在所述三维点云中剔除支撑面的点集，形成目标物体点云；S4、计算目标物体点云的重心坐标p

【技术实现步骤摘要】
基于RGBD相机的目标物体识别与定位方法及移动机器人
本专利技术属于物体识别
，提供了一种基于RGBD相机的目标物体识别与定位方法及移动机器人。
技术介绍
随着自主移动抓取机器人在服务和仓储物流领域有着越来越广泛的应用，其定位导航技术也越发重要。自主移动抓取机器人主要分为移动平台和机械臂，移动平台的定位导航主要使用激光或视觉SLAM，地图的分辨率比较低，定位精度不高，因此在机械臂对目标物体进行一系列操作之前，必须对目标物体进行识别和精定位。为了解决上述问题，现有的方案主要包含如下三种：1)标记物识别。在目标物体上贴二维码等标记物，通过视觉图像识别二维码信息，并对二维码进行定位，间接得到目标物体的位姿。2)双目视觉定位。通过使用两个相机在不同位置进行拍摄，然后对拍摄的图像进行匹配，筛选目标物体的匹配点对，根据视差和三角测距原理计算出目标物体的位置。3)深度学习识别与定位。建立目标物体图像的数据集，通过深度学习框架和数据集训练神经网络模型，再用训练好的模型识别图像中的目标物体位置，然而这些方法都存在一定的问题，无法保证目标物体识别和定位的效率和准确性。
技术实现思路
本专利技术实施例提供一种基于RGBD相机的目标物体识别与定位方法，基于RGBD相机即可实现对目标物体的识别和精确定位。本专利技术是这样实现的，一种基于RGBD相机的目标物体识别与定位方法，所述方法具体包括如下步骤：S1、基于RGBD相机实时获取一帧RGB图像和一帧Depth深度图像；S2、在RGB图像查找与模板图像差异度最低的目标区域；S3、基于目标区域构建包含目标物体的三维点云，并在所述三维点云中剔除支撑面的点集，形成目标物体点云；S4、计算目标物体点云的重心坐标pg及目标物体的形心坐标pe；S5、计算重心坐标pg与形心坐标pe的差值，若该差值小于预设阈值，则判定目标物体成功识别，返回形心坐标pe。进一步的，所述目标区域的查找方法具体包括如下步骤：S21、基于模板图像的尺寸m*n来构建滑动窗，滑动窗在RGB图像上滑动；S22、计算滑动窗所在区域的RGB图像与模板图像的差异度S(i,j)；S23、滑动窗遍历整个RGB图像，获取差异度最小的像素原点坐标(umin,vmin)，则匹配出的目标区域为[(umin,vmin)，(umin+m,vmin+n)]。进一步的，基于目标区域的深度图像imgD及RGB图像来计算包含目标物体的三维点云坐标(x,y,z)，其计算公式具体如下：(u,v)为像素点在深度图imgD的像素坐标，d为像素深度值，fx和fy为像素表示的焦距长，(cx,cx)为主点像素坐标，即目标区域中心的像素坐标。进一步的，在步骤S3之后，在步骤S4之前还包括：S6、对包含目标物体的三维点云进行滤波，剔除离群点。进一步的，基于构建的目标物体点云来计算目标物体点云重心坐标pg，pg的计算公式具体如下：其中，Si(xi,yi,zi)为目标物体的点云坐标，N为目标物体的点云数量。进一步的，基于目标区域来计算目标物体的形心坐标pe，pe的计算公式具体如下：其中，[umin,vmin]为相似度值最小的像素原点坐标，m和n代表模板图像的宽和高，fx和fy为像素表示的焦距长，(cx,cx)为主点像素坐标，即目标区域中心的像素坐标。本专利技术是这样实现的，一种移动机器人，所述移动机器人上设有RGBD相机，RGBD相机与图像处理器连接，RGBD相机用于采集目标物体的图像，并发送至图像处理器，图形处理器基于权利要求1至权利要求6任一权利要求所述基于RGBD相机的目标物体识别与定位方法来定位目标物体的中心位置。本专利技术提供的基于RGBD相机的目标物体识别方法具有如下有益技术效果：基于RGBD相机即可实现对目标物体的识别和精确定位，以进行对目标物体的下一步抓取操作。附图说明图1为本专利技术实施例提供的基于RGBD相机的目标物体识别与定位方法流程图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。图1为本专利技术实施例提供的基于RGBD相机的目标物体识别与定位方法流程图，该方法具体包括如下步骤：S1、基于RGBD相机实时获取一帧RGB图像和一帧Depth深度图像；S2、在RGB图像查找与模板图像差异度最低的目标区域，模板图像时预先存储的，目标区域的查找方法具体包括如下步骤：S21、基于模板图像的尺寸m*n来构建滑动窗，滑动窗在RGB图像上滑动；S22、计算滑动窗所在区域的RGB图像与模板图像的差异度S(i,j)，其计算公式具体如下；其中，T(m,n)表示模板图像中各点的像素值，m和n代表模板图像的宽和高，I(i+m,j+n)表示RGB图像中从坐标(i,j)到(i+m,j+n)像素区域的像素值。S23、滑动窗遍历整个RGB图像，获取差异度最小的像素原点坐标(umin,vmin)，则匹配出的目标区域为[(umin,vmin)，(umin+m,vmin+n)]。S3、基于目标区域构建包含目标物体的三维点云，并在所述三维点云中剔除支撑面的点集，形成目标物体点云；基于目标区域的深度图像imgD及RGB图像来计算包含目标物体的三维点云坐标(x,y,z)，其计算公式具体如下：(u,v)为像素点在深度图imgD的像素坐标，d为像素深度值，fx和fy为像素表示的焦距长，(cx,cx)为主点像素坐标，即目标区域中心的像素坐标。在本专利技术实施例中，在步骤S3之后，在步骤S4之前还包括：S6、对包含目标物体的三维点云进行滤波，剔除离群点；初始化pcl库中的统计概率滤波器，设置邻近点数，计算每个点和所有邻近点的距离均值，由所有的距离均值和方差建立高斯分布。再设置标准差倍数，认定平均距离在标准差倍数范围之外的点为离群点，剔除离群点，得到包含支撑面和目标物体的点云。对点云进行RANSAC平面提取，使用随机产生器提取点集中的任意三点，构建支撑平面方程Ax+By+Cz+D＝0，计算点云中所有点到该平面的距离d，当d小于阈值，保存内点，距离d的计算公式具体如下：当随机迭代次数达到阈值，停止迭代，在点集中找到特定三点所含内点数最多，认定此内点点集为支撑平面，剔除该内点点集，只保留目标物体点云。S4、计算目标物体点云的重心坐标pg及目标物体的形心坐标pe，基于构建的目标物体点云来计算目标物体点云重心坐标pg，pg的计算公式具体如下：其中，Si(xi,yi,zi)为目标物体的点云坐标，N为目标物体的点云数量。基于目标区域来计算目标物体的形心坐标pe，pe的计算公式具体如下：其中，[umin,vmin]为相似度值最小的像素原点坐本文档来自技高网...

【技术保护点】
1.一种基于RGBD相机的目标物体识别与定位方法，其特征在于，所述方法具体包括如下步骤：/nS1、基于RGBD相机实时获取一帧RGB图像和一帧Depth深度图像；/nS2、在RGB图像查找与模板图像差异度最低的目标区域；/nS3、基于目标区域构建包含目标物体的三维点云，并在所述三维点云中剔除支撑面的点集，形成目标物体点云；/nS4、计算目标物体点云的重心坐标p

【技术特征摘要】
1.一种基于RGBD相机的目标物体识别与定位方法，其特征在于，所述方法具体包括如下步骤：
S1、基于RGBD相机实时获取一帧RGB图像和一帧Depth深度图像；
S2、在RGB图像查找与模板图像差异度最低的目标区域；
S3、基于目标区域构建包含目标物体的三维点云，并在所述三维点云中剔除支撑面的点集，形成目标物体点云；
S4、计算目标物体点云的重心坐标pg及目标物体的形心坐标pe；
S5、计算重心坐标pg与形心坐标pe的差值，若该差值小于预设阈值，则判定目标物体成功识别，返回形心坐标pe。


2.如权利要求1所述基于RGBD相机的目标物体识别与定位方法，其特征在于，所述目标区域的查找方法具体包括如下步骤：
S21、基于模板图像的尺寸m*n来构建滑动窗，滑动窗在RGB图像上滑动；
S22、计算滑动窗所在区域的RGB图像与模板图像的差异度S(i,j)；
S23、滑动窗遍历整个RGB图像，获取差异度最小的像素原点坐标(umin,vmin)，则匹配出的目标区域为[(umin,vmin)，(umin+m,vmin+n)]。


3.如权利要求1所述基于RGBD相机的目标物体识别与定位方法，其特征在于，基于目标区域的深度图像imgD及RGB图像来计算包含目标物体的三维点云坐标(x,y,z)，其计算公式具体如下：



(u,v)为像素点在深度图i...

【专利技术属性】
技术研发人员：郝奇，陈智君，伍永健，曹雏清，高云峰，
申请(专利权)人：芜湖哈特机器人产业技术研究院有限公司，
类型：发明
国别省市：安徽;34