一种基于RGB-D信息融合的番茄串采摘点检测方法技术

本发明专利技术公开了一种基于RGB

【技术实现步骤摘要】
一种基于RGB
‑
D信息融合的番茄串采摘点检测方法


[0001]本专利技术涉及计算机视觉与模式识别、深度学习
，尤其涉及一种基于RGB
‑
D信息融合的番茄串采摘点检测方法。

技术介绍

[0002]现阶段，设施农业在我国的发展速度较快，覆盖多个地区，尤其是在温室内种植番茄日益普遍。番茄的种植、采摘、挑拣工作大部分为人工操作，这种繁琐的工作导致工人每日的劳动量很大，并且工作效率较低，不利于番茄产业的可持续发展。所以，实现番茄生产机械化、智能化对番茄种植规模的扩大和产量的提升有着重大意义。传感器技术和人工智能的飞速发展以及新型材料的出现使番茄采摘机器人开始应用于大棚内番茄果实的收获，完美的番茄采摘机器人具有可以和人眼媲美的视觉系统、灵活的执行机构以及各种传感器，机器人在多类事物构成的复杂背景下能够找到目标物，并使用执行机构快速准确地完成采摘任务。番茄采摘机器人可以替代劳动力，减少人工费用和番茄的生产成本。
[0003]番茄采摘机器人首先需要识别和定位到番茄串果梗的最佳采摘点，才能实现有效采摘，但是由于果梗颜色与背景颜色相似，因为番茄果梗生长姿态不规则、果梗之间以及果实与果梗之间相互触碰、番茄果实生长方位容易被果实覆盖以及果实采摘时果实之间容易相互影响等问题，导致目前的番茄采摘机器人对果梗识别与定位的准确率较低，采摘点位置不准确，果梗受到叶片或枝条遮挡，光照条件的影响，导致采摘点识别的准确率下降。同时由于果梗过于纤细或较短时，经济型深度相机在获取目标的时候可能存在信息误差较大甚至缺失的情况，导致番茄采摘机器人定位不准确。

技术实现思路

[0004]为解决现有技术的缺点和不足，提供一种基于RGB
‑
D信息融合的番茄串采摘点检测方法，基于YOLOv7与RGB
‑
D深度相机的核心思想，充分利用神经网络与深度信息结合，将输入的番茄串图像经过数据预处理后，提取目标串果梗特征，对果梗进行深度信息提取并确定最佳采摘点位置。利用YOLOv7算法和深度相机结合的方法来处理目前存在的难题，与其它算法相比，YOLOv7算法具有更高的准确率，可以在更多领域得到应用。所以在采摘机器人中使用YOLOv7算法和Intel D455深度相机结合，这样可以使得番茄采摘机器人具有更高的工作效率。
[0005]为实现本专利技术目的而提供的一种基于RGB
‑
D信息融合的番茄串采摘点检测方法，包括有以下步骤：
[0006]步骤1，采集番茄串图像，对番茄串图像的果梗进行标注，构建番茄串果梗检测数据集；
[0007]步骤2，使用YOLOv7对标注后的番茄串图像的果梗图片进行训练，将训练结果与Intel D455深度相机相连，快速准确地识别到成熟番茄串果梗所在位置，完成粗分割；
[0008]步骤3，在步骤2粗分割的基础上，筛选出有效的番茄串果梗，在有效的番茄串果梗
的最小矩形框内采用K
‑
means聚类算法、形态学、骨骼化等传统图像处理方法，提取果梗骨骼线并在其上确定采摘点彩色图像位置，完成细分割；
[0009]步骤4，结合Intel D455深度相机获取采摘点深度值，同时针对果梗过于纤细，深度相机无法获取果梗深度值问题，采用大领域二次均值法；
[0010]步骤5，将获取到的果梗深度值转换并修正后得到完整采摘点位置信息；所述步骤5中转换并修正使用了修正系数，修正系数需要进行大量实验得出结果。
[0011]步骤6，反复进行实验室试验和温室现场试验，验证番茄采摘机器人对果梗识别与定位的准确率和采摘成功率。所述步骤6中需要在实际场景中对本专利技术进行实验与验证，针对出现的问题进行修改，最终实现番茄采摘机器人对果梗的识别和定位。
[0012]作为上述方案的进一步改进，所述步骤1中对番茄串图像的果梗进行标注的具体过程为：先使用LabelImg工具对番茄串果梗进行框选标注，果梗名称定义为stem。
[0013]作为上述方案的进一步改进，所述步骤2中使用YOLOv7对标注后的番茄串图像的果梗图片进行训练，首先需要将标注好的数据按照训练集：验证集：测试集：＝8：1：1进行划分，然后在Ubuntu搭建好的环境下进行训练，最终训练结果中的best.pt文件和YOLOv7中的源代码替换后与Intel D455深度相机相连，快速的识别到成熟番茄串果梗所在位置，实现对番茄串果梗的实时识别，完成粗分割；
[0014]作为上述方案的进一步改进，所述步骤3中形态学采用K
‑
means聚类算法进行处理，骨骼化采用zhang细化算法进行处理。
[0015]作为上述方案的进一步改进，所述步骤3中形态学采用K
‑
means聚类算法进行处理，具体为：使用K
‑
means聚类算法来提取果梗图像时，随机对聚类初始点进行选取，每当聚类的迭代次数达到10或者聚类的精度达到1时停止运算。本专利技术为了提高果梗图像的分割精度，使用2次K
‑
means聚类算法来对果梗图像进行提取。第一次使用K
‑
means聚类算法计算各类占比时，将背景去噪归为小类归；第二次使用K
‑
means聚类算法时，先计算各类中心点的RGB值与果梗标准的RGB值间的平方差，然后将平方差的最小类识别为果梗，最后对果梗进行提取，并通过形态学中的开运算对噪声和孔洞进行去除。在现实的采摘过程中，番茄串的采摘点通常位于果梗中心位置，因此将计算得到的果梗骨骼图与X轴中轴线上的交点(Px,Py)作为采摘点，如果存在得到多个交点的情况时则取交点的平均值作为采摘点。
[0016]K
‑
means聚类和zhang细化算法的采摘点图像坐标(Px,Py)识别算法流程如下：
[0017]1)提取果梗图像的R、G、B值并转换为n
×
3的矩阵Points_RGB
←
I
RGB_depth
；
[0018]2)对Points_RGB进行K
‑
means的第一次聚类，然后计算各类别像素占比Percentage
k
；
[0019]3)将Points_RGB中占比小的一类规定为背景；
[0020]4)Points_RGB进行K
‑
means算法的第二次聚类；
[0021]5)各类中心点的R、G、B数值与果梗标准的R、G、B值的平方差最小类的一类归为果梗；
[0022]6)使用形态学中的K
‑
means聚类算法去除噪声和孔洞，输出完整的果梗图像；
[0023]7)Zhang细化算法提取果梗骨骼图；
[0024]8)计算果梗骨骼图与X轴中轴线上的交点(Px,Py)，将该点设为采摘点。
[0025]作为上述方案的进一步改进，所述步骤4中采用大领域二次均值法，具体为：将K
‑
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于RGB
‑
D信息融合的番茄串采摘点检测方法，其特征在于：包括有以下步骤：步骤1，采集番茄串图像，对番茄串图像的果梗进行标注，构建番茄串果梗检测数据集；步骤2，使用YOLOv7对标注后的番茄串图像的果梗图片进行训练，将训练结果与Intel D455深度相机相连，快速准确地识别到成熟番茄串果梗所在位置，完成粗分割；步骤3，在步骤2粗分割的基础上，筛选出有效的番茄串果梗，在有效的番茄串果梗的最小矩形框内采用K
‑
means聚类算法、形态学、骨骼化等传统图像处理方法，提取果梗骨骼线并在其上确定采摘点彩色图像位置，完成细分割；步骤4，结合Intel D455深度相机获取采摘点深度值，同时针对果梗过于纤细，深度相机无法获取果梗深度值问题，采用大领域二次均值法；步骤5，将获取到的果梗深度值转换并修正后得到完整采摘点位置信息；步骤6，反复进行实验室试验和温室现场试验，验证番茄采摘机器人对果梗识别与定位的准确率和采摘成功率。2.根据权利要求1所述的一种基于RGB
‑
D信息融合的番茄串采摘点检测方法，其特征在于：所述步骤1中对番茄串图像的果梗进行标注的具体过程为：先使用LabelImg工具对番茄串果梗进行框选标注，果梗名称定义为stem。3.根据权利要求1所述的一种基于RGB
‑
D信息融合的番茄串采摘点检测方法，其特征在于：所述步...

【专利技术属性】
技术研发人员：宋国柱，王建，石岩，马荣廷，孙胜，景超，罗改芳，王堃，李一诺，郭文慧，侯奕君，
申请(专利权)人：山西农业大学，
类型：发明
国别省市：