一种采摘机器人机械臂抓取避障方向确定的方法及其系统技术方案

本发明专利技术提供一种采摘机器人机械臂抓取避障方向确定的方法及其系统，该方法包括果实二维中心定位和三维点云向量计算，二维中心定位部分为三维点云向量计算部分做中心定位基础，三维点云向量计算部分是二维中心定位部分延申和进一步定位，获取点云向量，所述点云向量的方向作为机械臂采摘果实时的抓取姿势，通过点云向量控制机械臂进行避障抓取，解决机械臂抓取果实时由于被障碍物遮挡而不能有效抓取的问题。的问题。的问题。

【技术实现步骤摘要】
一种采摘机器人机械臂抓取避障方向确定的方法及其系统


[0001]本专利技术属于农业水果收获机器人视觉
，特别涉及一种采摘机器人机械臂抓取避障方向确定的方法及其系统。

技术介绍

[0002]设施番茄株形高大，番茄产量高，可长季栽植，周期长和产量大，反季节生产，可适应恶劣环境，受病虫害影响小，品质易保证等，全球年总产量达1.7亿吨，其中设施番茄愈发受到重视，我国产量6483.2万吨，其中设施番茄面积64.2万公顷。设施采摘存在用工难、用工贵、劳动强度大等问题，使用智能化设备替代人工采摘，提高视觉系统在整个采摘过程中的效率，可以提高机器人采摘效率。
[0003]番茄采摘机器人在进行果实抓取作业时，容易因枝叶、藤条及大棚设施等障碍影响采摘效率，导致机械臂不能正常抓取，严重时甚至损坏末端执行器和机械臂。目前提出的方法多归结于机械臂的路径规划问题，且多用于工业生产制造，农业水果采摘方面少有涉及。
[0004]机械手抓取的精度是农业采摘机器人采摘效率的一个重要指标，直接影响到采摘的成功率。目前采摘机器人的视觉系统多只为采摘机械臂提供空间三维坐标，少有对机械臂抓取时的避障问题的研究，部分研究者将其归结为农艺问题，所以所设计的视觉系统未能有很好的普适性。

技术实现思路

[0005]针对上述技术问题，本专利技术提供一种采摘机器人机械臂抓取避障方向确定的方法及其系统，从视觉定位下手，传输给机械臂控制系统的不只是三维坐标，还包括传输机械臂接近路径姿势的信息，包括果实二维中心定位和三维点云向量计算，二维中心定位部分为三维点云向量计算部分做中心定位基础，三维点云向量计算部分是二维中心定位部分延申和进一步定位，获取点云向量，所述点云向量的方向作为机械臂采摘果实时的抓取姿势，通过点云向量控制机械臂进行避障抓取，解决机械臂抓取果实时由于被障碍物遮挡而不能有效抓取的问题。
[0006]本专利技术的技术方案是：一种采摘机器人机械臂抓取避障方向确定的方法，包括以下步骤：
[0007]二维中心定位：制作果实数据集，建立图像分割模型，将采集的果实二维RGB图像输入到图像分割模型，基于颜色对果实的可见部分进行分割，在分割果实区域和障碍物区域之后，利用边缘检测算法检测边界，从两个区域中搜索果实的弧形边界和公共边界像素，最终只显示果实的弧形边界和公共边界，假设果实可见部分的弧形边界为圆弧，计算得到果实可见弧形边界的弧高H和弧宽W，进而计算得到目标果实的二维中心；
[0008]三维点云向量计算：获取果实的点云，通过三维重建技术将目标果实重建为一个球体，对果实点云进行处理，找出果实的几何中心和可见表面中心，结合目标果实的二维中
心计算得到目标果实的中心点云三维坐标和可见表面中心点云三维坐标，从而得到目标果实的几何中心点和可见表面中心点连线的点云向量，所述点云向量的方向作为机械臂采摘果实时的抓取姿势，通过所述点云向量控制机械臂进行避障抓取。
[0009]上述方案中，所述二维中心定位具体包括以下步骤：
[0010]步骤S1、果实数据集的制作：采集果实的图像，对所采集的图像进行增强处理、打标签后训练得到图像分割模型；
[0011]步骤S2、将采集的果实二维RGB图像输入到图像分割模型；
[0012]步骤S3、基于果实及其背景的颜色差异对果实二维RGB图像进行分割，提取目标果实的可见部分；
[0013]步骤S4、利用边缘检测算法提取目标果实与果实二维RGB图像背景间的公共边界以及目标果实的弧形边界；
[0014]步骤S5、设目标果实可见部分为圆弧，计算出目标果实可见部分弧形边界的弧高H和弧宽W；
[0015]步骤S6、利用几何关系计算出目标果实的半径；
[0016]步骤S7、利用几何关系计算出目标果实的二维中心。
[0017]进一步的，所述步骤S1中果实的图像采集包括以下步骤：
[0018]数据采集时从不同的时间段、不同的光照条件和不同角度对每个果实拍摄多组图片，采用改变图像的光照强弱、对图片进行翻转处理、对图片进行旋转处理、对图片进行随机剪切处理对所采集的图像进行增强。
[0019]进一步的，所述不同的时间段为一天从早到晚多个时段；所述不同的光照条件包括正对阳光、背对阳光、阴天、晴天。
[0020]上述方案中，述步骤S1中将被遮挡部分超过70％的目标果实不做打标签处理。
[0021]上述方案中，所述三维点云向量计算具体包括以下步骤：
[0022]步骤S1)、使用深度相机获取果实点云，通过三维重建技术使用获取的果实点云集合将目标果实重建为一个球体；
[0023]步骤S2)、将深度相机获取的三维点云进行处理，找出目标果实的几何中心和可见表面中心；
[0024]步骤S3)、将目标果实的几何中心的点云结合目标果实的二维中心计算得到目标果实的中心点云三维坐标；
[0025]步骤S4)、将目标果实的可见表面中心的点云结合目标果实的二维中心计算得到目标果实可见表面中心点云三维坐标；
[0026]步骤S5)、根据步骤S3)得到的目标果实的中心点云三维坐标和步骤S4)得到的目标果实可见表面中心点云三维坐标计算得到目标果实的几何中心点和可见表面中心点连线的点云向量；
[0027]步骤S6)、将步骤S5)得到的点云向量输入机械臂控制系统，所述点云向量的方向作为机械臂采摘果实时的抓取姿势，控制机械臂末端执行器沿点云向量方向进行抓取，避开障碍物。
[0028]上述方案中，所述机械臂采摘果实时的抓取姿势通过以下公式表示：
[0029]抓取姿势
[0030]使用参数列表[x，y，z，θ,φ]来表示果实的抓取姿势，其中(x，y，z)是机械臂末端执行器的三维坐标，θ为机械臂末端执行器绕Z轴旋转的角度，φ为机械臂末端执行器绕Y轴旋转的角度。
[0031]上述方案中，所述深度相机为：Kinect相机。
[0032]上述方案中，所述三维点云向量计算中采用PointNet网络对番茄点云进行处理。
[0033]一种实现所述采摘机器人机械臂抓取避障方向确定方法的系统，包括二维中心定位模块和三维点云向量计算模块；
[0034]所述二维中心定位模块用于制作果实数据集，建立图像分割模型，将采集的果实二维RGB图像输入到图像分割模型，基于颜色对果实的可见部分进行分割，在分割果实区域和障碍物区域之后，利用边缘检测算法检测边界，从两个区域中搜索果实的弧形边界和公共边界像素，最终只显示果实的弧形边界和公共边界，假设果实可见部分的弧形边界为圆弧，计算得到果实可见弧形边界的弧高H和弧宽W，进而计算得到目标果实的二维中心；
[0035]所述三维点云向量计算模块用于获取果实的点云，通过三维重建技术将目标果实重建为一个球体，对果实点云进行处理，找出果实的几何中心和可见表面中心，结合目标果实的二维中心计算得到目标果实的中心点云三维坐标和可见表面中心点云三维坐标，从而得到目标果实的几何中心点和可见表面中心点连线本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种采摘机器人机械臂抓取避障方向确定的方法，其特征在于，包括以下步骤：二维中心定位：制作果实数据集，建立图像分割模型，将采集的果实二维RGB图像输入到图像分割模型，基于颜色对果实的可见部分进行分割，在分割果实区域和障碍物区域之后，利用边缘检测算法检测边界，从两个区域中搜索果实的弧形边界和公共边界像素，最终只显示果实的弧形边界和公共边界，假设果实可见部分的弧形边界为圆弧，计算得到果实可见弧形边界的弧高H和弧宽W，进而计算得到目标果实的二维中心；三维点云向量计算：获取果实的点云，通过三维重建技术将目标果实重建为一个球体，对果实点云进行处理，找出果实的几何中心和可见表面中心，结合目标果实的二维中心计算得到目标果实的中心点云三维坐标和可见表面中心点云三维坐标，从而得到目标果实的几何中心点和可见表面中心点连线的点云向量，所述点云向量的方向作为机械臂采摘果实时的抓取姿势，通过所述点云向量控制机械臂进行避障抓取。2.根据权利要求1所述的采摘机器人机械臂抓取避障方向确定的方法，其特征在于，所述二维中心定位具体包括以下步骤：步骤S1、果实数据集的制作：采集果实的图像，对所采集的图像进行增强处理、打标签后训练得到图像分割模型；步骤S2、将采集的果实二维RGB图像输入到图像分割模型；步骤S3、基于果实及其背景的颜色差异对果实二维RGB图像进行分割，提取目标果实的可见部分；步骤S4、利用边缘检测算法提取目标果实与果实二维RGB图像背景间的公共边界以及目标果实的弧形边界；步骤S5、设目标果实可见部分为圆弧，计算出目标果实可见部分弧形边界的弧高H和弧宽W；步骤S6、利用几何关系计算出目标果实的半径；步骤S7、利用几何关系计算出目标果实的二维中心。3.根据权利要求2所述的采摘机器人机械臂抓取避障方向确定的方法，其特征在于，所述步骤S1中果实的图像采集包括以下步骤：数据采集时从不同的时间段、不同的光照条件和不同角度对每个果实拍摄多组图片，采用改变图像的光照强弱、对图片进行翻转处理、对图片进行旋转处理、对图片进行随机剪切处理对所采集的图像进行增强。4.根据权利要求3所述的采摘机器人机械臂抓取避障方向确定的方法，其特征在于，所述不同的时间段为一天从早到晚多个时段；所述不同的光照条件包括正对阳光、背对阳光、阴天、晴天。5.根据权利要求2所述的采摘机器人机械臂抓取避障方向确定的方法，其特征在于，所述步骤S1中将被遮挡部分超过70％的目标果实不做打标签处理。6.根据权利要求1所述的采摘机器人机械臂抓取避障方向确定的方法，其特征在于，所述三维点云向量计算具体包括以下步骤：步骤S1)、使用深度相机获取果实点...

【专利技术属性】
技术研发人员：杨启志，何文兵，邹荣，李雯，李章彦，朱梦岚，
申请(专利权)人：江苏大学，
类型：发明
国别省市：