一种葡萄采摘机器人目标识别及果梗夹切点定位方法技术

本发明专利技术提供了一种葡萄采摘机器人目标识别及果梗夹切点定位方法包括以下步骤：建立自然场景下的葡萄串图像库；建立基于Mask‑R‑CNN网络的葡萄串识别模型；识别每个葡萄串的葡萄区域与果梗区域；判断是否葡萄串是否完整：果梗区域往下延伸垂直线段，如果垂直线段与某一识别的葡萄区域相交，则确定这是一串完整的葡萄串，可以进行采摘，反之则非完整，不进行采摘；采摘点定位：计算去除干扰后的果梗的质心点，通过果梗的质心点计算出果梗的采摘区域的中心坐标点，则该中心坐标点即为采摘点，输出采摘点定位结果到采摘机器人完成采摘动作。本发明专利技术能够有效识别葡萄串的完整性以及精确定位葡萄果梗中部的采摘点，能够实现高效率无损采摘，具有很好的实用性。

【技术实现步骤摘要】
一种葡萄采摘机器人目标识别及果梗夹切点定位方法
本专利技术涉及机器人采摘
，具体而言，涉及一种葡萄采摘机器人目标识别及果梗夹切点定位方法。
技术介绍
采摘机器人做为农业智能化的关键一环，在葡萄采摘机器人进行采摘作业时，识别果梗、定位果梗采摘点是葡萄采摘作业中的重要一环。目前葡萄采摘机器人采摘主要通过具有切割装置的末端执行器抓住葡萄，切割葡萄果梗完成。采摘时需要考虑刀片空间大小以保护葡萄和上方枝干不破损，定位在葡萄果梗中部位置的采摘点才能做到无损采摘，所以采摘点定位的位置至关重要。在果实识别与采摘点定位方面，目前主要是用传统机器视觉或者深度神经网络方法。经过申请人海量检索，发现现有技术中的采摘点识别方案如公开号为CN109711325A公开一种芒果采摘点识别方法，采用python语言运行改进的Mask-r-cnn深度神经网络进行对芒果识别，却采用Matlab语言区实现果梗分割和采摘点识别，且并未考虑果实等采摘机器人进行无损采摘需要采摘点的范围，且并未考虑采摘目标的完整性。有可能出现误识别时也采摘(误识别采摘即：把枝干等背景当芒果，其本文档来自技高网...

【技术保护点】
1.一种葡萄采摘机器人目标识别及果梗夹切点定位方法，其特征在于，包括以下步骤：/nS1、采集葡萄串的图像，建立自然场景下的葡萄串图像库；/nS2、建立基于Mask-R-CNN网络的葡萄串识别模型；/nS3、识别每个葡萄串的葡萄区域与果梗区域；/nS4、判断是否葡萄串是否完整：果梗区域往下延伸垂直线段，如果垂直线段与某一识别的葡萄区域相交，则确定这是一串完整的葡萄串，可以进行采摘，反之则非完整，不进行采摘；/nS5、采摘点定位：计算去除干扰后的果梗的质心点，通过果梗的质心点计算出果梗的采摘区域的中心坐标点，则该中心坐标点即为采摘点，输出采摘点定位结果到采摘机器人完成采摘动作。/n

【技术特征摘要】
1.一种葡萄采摘机器人目标识别及果梗夹切点定位方法，其特征在于，包括以下步骤：
S1、采集葡萄串的图像，建立自然场景下的葡萄串图像库；
S2、建立基于Mask-R-CNN网络的葡萄串识别模型；
S3、识别每个葡萄串的葡萄区域与果梗区域；
S4、判断是否葡萄串是否完整：果梗区域往下延伸垂直线段，如果垂直线段与某一识别的葡萄区域相交，则确定这是一串完整的葡萄串，可以进行采摘，反之则非完整，不进行采摘；
S5、采摘点定位：计算去除干扰后的果梗的质心点，通过果梗的质心点计算出果梗的采摘区域的中心坐标点，则该中心坐标点即为采摘点，输出采摘点定位结果到采摘机器人完成采摘动作。


2.如权利要求1所述的一种葡萄采摘机器人目标识别及果梗夹切点定位方法，其特征在于，所述步骤S1的具体步骤为：
S11、数据采集：采集不同光照、不同角度下的带有果梗的葡萄串图像；
S12、构建数据库：整理收集到的数据，将葡萄串图像调整为统一标准格式大小，建立图像训练集、验证集和测试集；
S13、数据标注：对数据进行实例分割标注；
S14、数据增强：将原始图像进行对比度增强和锐度增强操作扩充数据集。


3.如权利要求2所述的一种葡萄采摘机器人目标识别及果梗夹切点定位方法，其特征在于，所述步骤S12中将果实图像格式大小为1024*1024。


4.如权利要求1所述的一种葡萄采摘机器人目标识别及果梗夹切点定位方法，其特征在于，所述步骤S2建立用于葡萄串识别的Mask-R-CNN网络包括主干网络、区域建议网络、以及三分支网络，且全使用1*1的卷积核，区域建议网络使用3*3的卷积核，M...

【专利技术属性】
技术研发人员：罗陆锋，宁政通，廖嘉欣，丘旺发，杨渤峰，文汉锦，李伟强，洪志佳，
申请(专利权)人：佛山科学技术学院，
类型：发明
国别省市：广东;44