一种基于RGB-D相机的物体对称轴检测方法技术

本发明专利技术公开了一种基于RGB‑D相机的物体对称轴检测方法，涉及图像处理领域，该方法包括：获取自然场景下的目标物体的图像的三维点云数据，根据色差阈值分割法从三维点云数据中识别出目标物体所在区域的点云对应的目标点云数据，以目标点云数据的为中心建立球坐标系，利用球坐标系分割法选出n

【技术实现步骤摘要】
一种基于RGB-D相机的物体对称轴检测方法
本专利技术涉及图像处理领域，尤其是一种基于RGB-D相机的物体对称轴检测方法。
技术介绍
水果采摘机器人可以自动检测水果并进行采摘，因其效率高自动化程度好的优点而被广泛使用，水果采摘机器人的采摘动作依赖于其视觉检测系统对水果的准确检测与定位，文献表明，如果水果相对于果实和茎的方向以特定方式旋转和扭曲，可以提高水果的采摘效率，因此为了进一步提高采摘效率，需要提高水果采摘机器人对于果实对称轴的检测精度。目前比较常见的对果实对称轴的检测方法有基于曲面曲率变化寻找对称轴方法、基于学习的自然图像检测方法，以及基于边缘特征学习的自然图像对称轴检测方法等，不过它们还存在着许多问题，如：使用的三维点云要求十分精确，学习时间会随着点云数据增多而变得很长，不便于从自然场景中拍摄的图像来检测水果对称轴等。
技术实现思路
本专利技术人针对上述问题及技术需求，提出了一种基于RGB-D相机的物体对称轴检测方法，该方法可以对自然场景下的物体的对称轴进行精确检测。本专利技术的技术方案如下：一种基于RGB-D相机的物体对称轴检测方法，该方法包括：对RGB-D相机的彩色相机和深度相机进行标定，获取RGB-D相机的相机参数；通过RGB-D相机的彩色相机获取目标物体的彩色图像，通过RGB-D相机的深度相机获取目标物体的深度图像；根据RGB-D相机的相机参数将深度图像映射到彩色图像所在的彩色图像像素坐标系中，获得对齐后的深度图像，并将彩色图像和对齐后的深度图像处理为三维点云数据，三维点云数据包括点云的三维坐标和颜色信息；根据色差阈值分割法从三维点云数据中识别出目标点云数据，目标点云数据是目标物体所在区域的点云对应的数据；求取目标点云数据的质心，并以质心为中心建立球坐标系，利用球坐标系分割法选出n2个候选对称平面，n大于3且n为整数；根据n2个候选对称平面计算目标点云数据的对称轴，确定目标点云数据的对称轴为目标物体的对称轴。其进一步的技术方案为，根据n2个候选对称平面计算目标点云数据的对称轴，包括：根据预设积分策略计算n2个候选对称平面中每个候选对称平面的分数；确定分数最低的候选对称平面为目标物体的对称平面；根据目标物体的对称平面计算得到目标点云数据的对称轴。其进一步的技术方案为，根据目标物体的对称平面计算得到目标点云数据的对称轴，包括计算：其中，是目标点云数据的对称轴向量，是目标物体的对称平面的法向量，pv是视点的坐标，po是目标点云数据的质心的坐标。其进一步的技术方案为，根据预设积分策略计算n2个候选对称平面中每个候选对称平面的分数，包括：对于每个候选对称平面，确定候选对称平面中的候选点，候选点是在候选对称平面中有对称伙伴的点；根据预设积分策略计算得到每个候选点的分数；确定各个候选点的分数之和为候选对称平面的分数。其进一步的技术方案为，根据预设积分策略计算得到每个候选点的分数，包括：将候选点关于候选对称平面做对称变化得到候选点的对称点；根据K最近邻KNN分类算法确定与候选点的对称点距离最近的邻近点，确定候选点的对称点与邻近点的距离；计算xscore＝dmin+ω·α，其中，xscore是候选点的分数，dmin是候选点的对称点与邻近点的距离，α是候选点的对称点的法向量与邻近点的法向量之间的夹角，ω为权重系数。其进一步的技术方案为，确定候选对称平面中的候选点，包括：计算pv是视点的坐标，p是候选对称平面中一侧的点，是点处的法向量；当时，确定点在候选对称平面中有对称伙伴，则确定点为候选点。其进一步的技术方案为，根据色差阈值分割法从三维点云数据中识别出目标点云数据，包括；根据色差阈值分割法从三维点云数据中识别出前景点云数据；对于前景点云数据中的各个点云的任意一个点云，计算di为点云与点云各个邻近点之间的平均距离，k为点云的邻近点的个数；检测di是否在μ±γσ范围内，其中，m为前景点云数据中的点云的个数，γ为参数；若di在μ±γσ范围内，则确定点云对应的数据是目标点云数据。其进一步的技术方案为，根据色差阈值分割法从三维点云数据中识别出前景点云数据，包括：对于三维点云数据中的任意一个点云，计算Rs-Gs，Rs为点云的红色通道R信息，Gs为点云的绿色通道G信息；若Rs-Gs＞δ，则确定点云对应的数据是前景点云数据。其进一步的技术方案为，以质心为中心建立球坐标系，利用球坐标系分割法选出n2个候选对称平面，包括：以质心为中心建立球坐标系，确定水平分割角和垂直分割角的范围；通过计算将水平分割角进行等分，通过计算将垂直分割角进行等分，其中，thetaBinSize是水平分割角的变化范围，phiBinSize是垂直分割角的变化范围，θ(2)和θ(1)分别为水平分割角的最大值与最小值，和分别为垂直分割角的最大值和最小值；分别改变水平分割角和垂直分割角n次，得到n2组分割平面的单位法向量；根据n2组分割平面的单位法向量得到n2个候选对称平面。其进一步的技术方案为，求取目标点云数据的质心，包括：在目标点云数据附近随机产生预定数量的随机点，预定数量大于目标点云数据的个数；对于每个随机点，求取随机点与目标点云数据中的各个点云之间的距离的标准差；确定与目标点云数据中的各个点云之间的距离的标准差最小的随机点为目标点云数据的质心。本专利技术的有益技术效果是：本申请公开了一种基于RGB-D相机的物体对称轴检测方法，该方法实现了目标物体RGB-D图像的三维重建，以及点云滤波，最后通过采用一种积分策略实现对目标物体对称轴的检测，当该方法应用于水果采摘领域时，可以基于自然场景中拍摄的果实的图像准确地寻找果实的对称轴，克服了先前水果识别仅精确到个体而不能描述个体特征的缺陷，便于机械手抓取，提高了水果的自动化采摘效率，并且减少对水果的损伤。附图说明图1是本专利技术公开的基于RGB-D相机的物体对称轴检测方法的方法流程图。图2是彩色相机与深度相机之间的坐标映射模型示意图。图3是根据预设积分策略计算每个候选点的分数的示意图。具体实施方式下面结合附图对本专利技术的具体实施方式做进一步说明。本申请公开了一种基于RGB-D相机的物体对称轴检测方法，该方法基于RGB-D相机，RGB-D相机包括一个彩色相机和一个深度相机，该检测方法包括如下步骤，主要流程图请参考图1：一、分别对RGB-D相机的彩色相机和深度相机进行标定，获取RGB-D相机的相机参数，该相机参数包括彩色相机的参数以及深度相机的参数，本申请采用的标定方法为张正友标定法，实际也可以采用其他方法，本申请对此不做限定。采用张正友标定法对RGB-D相机的彩色相机进行标定，可以获取彩色相机内部参数Hrgb和彩色相机外部参数(Rrgb，Trgb)；采用张正友标定法对RGB-D相机的深度相机进行标定，可以获取深度相机内部参数Hd和深度相机外部参数(Rd，Td)。二、通过RGB-D相机的彩色相机获取目标物体的彩色图像，通过RGB-D相机的深度相机获取目标物体的深度图像，在本申请中，目标物体为自然场景下拍摄的果树上的果实，彩色相机采集到的彩色图像的分辨率较高，通常为1080*1920，深度相机采集到的深度图像的分辨率较低，通常为424*512，彩色图像和深度图像的具体分辨率由RGB-D相机的硬件参数和人为设定等因素来决定，本申请对本文档来自技高网...

【技术保护点】
一种基于RGB‑D相机的物体对称轴检测方法，其特征在于，所述方法包括：对RGB‑D相机的彩色相机和深度相机进行标定，获取所述RGB‑D相机的相机参数；通过RGB‑D相机的彩色相机获取目标物体的彩色图像，通过RGB‑D相机的深度相机获取所述目标物体的深度图像；根据所述RGB‑D相机的相机参数将所述深度图像映射到所述彩色图像所在的彩色图像像素坐标系中，获得对齐后的深度图像，并将所述彩色图像和所述对齐后的深度图像处理为三维点云数据，所述三维点云数据包括点云的三维坐标和颜色信息；根据色差阈值分割法从所述三维点云数据中识别出目标点云数据，所述目标点云数据是所述目标物体所在区域的点云对应的数据；求取所述目标点云数据的质心，并以所述质心为中心建立球坐标系，利用球坐标系分割法选出n

【技术特征摘要】
1.一种基于RGB-D相机的物体对称轴检测方法，其特征在于，所述方法包括：对RGB-D相机的彩色相机和深度相机进行标定，获取所述RGB-D相机的相机参数；通过RGB-D相机的彩色相机获取目标物体的彩色图像，通过RGB-D相机的深度相机获取所述目标物体的深度图像；根据所述RGB-D相机的相机参数将所述深度图像映射到所述彩色图像所在的彩色图像像素坐标系中，获得对齐后的深度图像，并将所述彩色图像和所述对齐后的深度图像处理为三维点云数据，所述三维点云数据包括点云的三维坐标和颜色信息；根据色差阈值分割法从所述三维点云数据中识别出目标点云数据，所述目标点云数据是所述目标物体所在区域的点云对应的数据；求取所述目标点云数据的质心，并以所述质心为中心建立球坐标系，利用球坐标系分割法选出n2个候选对称平面，n大于3且n为整数；根据所述n2个候选对称平面计算所述目标点云数据的对称轴，确定所述目标点云数据的对称轴为所述目标物体的对称轴。2.根据权利要求1所述的方法，其特征在于，所述根据所述n2个候选对称平面计算所述目标点云数据的对称轴，包括：根据预设积分策略计算所述n2个候选对称平面中每个候选对称平面的分数；确定分数最低的候选对称平面为所述目标物体的对称平面；根据所述目标物体的对称平面计算得到所述目标点云数据的所述对称轴。3.根据权利要求2所述的方法，其特征在于，所述根据所述目标物体的对称平面计算得到所述目标点云数据的所述对称轴，包括计算：其中，是所述目标点云数据的对称轴向量，是所述目标物体的对称平面的法向量，pv是视点的坐标，po是所述目标点云数据的质心的坐标。4.根据权利要求2所述的方法，其特征在于，所述根据预设积分策略计算所述n2个候选对称平面中每个候选对称平面的分数，包括：对于每个候选对称平面，确定所述候选对称平面中的候选点，所述候选点是在所述候选对称平面中有对称伙伴的点；根据所述预设积分策略计算得到每个所述候选点的分数；确定各个所述候选点的分数之和为所述候选对称平面的分数。5.根据权利要求4所述的方法，其特征在于，根据所述预设积分策略计算得到每个所述候选点的分数，包括：将所述候选点关于所述候选对称平面做对称变化得到所述候选点的对称点；根据K最近邻KNN分类算法确定与所述候选点的对称点距离最近的邻近点，确定所述候选点的对称点与所述邻近点的距离...

【专利技术属性】
技术研发人员：黄敏，李浩，朱启兵，李艳华，
申请(专利权)人：江南大学，
类型：发明
国别省市：江苏,32