基于目标识别的苹果采摘方法、系统、设备及存储介质技术方案

本发明专利技术涉及一种基于目标识别的苹果采摘方法、系统、设备及存储介质，涉及图像识别技术领域，通过预设的成熟苹果图像数据集对改进的Yolov5神经网络模型进行训练，训练获得权重文件，用于检测并框选成熟苹果果实图像；通过深度相机获得苹果果树的三维图像，利用三维图像获得二维彩色图像帧和三维深度信息帧；将二维彩色图像帧和三维深度信息帧导入Yolov5神经网络模型确定成熟苹果果实图像并确定目标果实中心点处的三维坐标；将三维坐标传输给Delta机械臂端实现对目标果实的摘取。在采摘苹果时，通过深度相机获取的苹果果树三维图像，可准确确定需要摘取的目标果实三维坐标，从而实现了成熟苹果果实的精确采摘，提高了采摘成功率与采摘速度。摘成功率与采摘速度。摘成功率与采摘速度。

【技术实现步骤摘要】
基于目标识别的苹果采摘方法、系统、设备及存储介质


[0001]本专利技术涉及图像识别
，具体涉及一种基于目标识别的苹果采摘方法、系统、设备及存储介质。

技术介绍

[0002]我国是世界上最大的苹果生产国，苹果总产量占全球50%左右。在苹果采摘过程中，如何将成熟的苹果准确、无损、快速的采摘下来成为了关键性问题。我国苹果种植区绝大部分集中在丘陵、高原、山地等地区，依旧保持着原始的人工采摘方式。人工采摘方式费时费力，仅人工成本就占苹果生产成本的50%。
[0003]随着机械化的普及，市场上出现了各式各样的苹果采摘机器人，传统的采摘机器人一般是采用履带式底盘上设置采摘机构，采摘机构上设置摄像头以实现对苹果果实的获取，然后在控制器的控制下实现对苹果的采摘。但是如果仅仅实现果实的识别采摘，不能有效识别果实的成熟与否，不能满足苹果的采摘要求。
[0004]因此，如何准确识别采摘成熟苹果果实是本领域亟待解决的技术问题。

技术实现思路

[0005]针对现有技术的不足，本专利技术提供一种基于目标识别的苹果采摘方法、系统、设备及存储介质，以利于解决现有技术中不能准确识别采摘成熟苹果果实的问题。
[0006]本专利技术通过如下技术方案实现，提供了一种基于目标识别的苹果采摘方法，该包括：通过预设的成熟苹果图像数据集对改进的Yolov5神经网络模型进行训练，训练获得权重文件，用于检测并框选成熟苹果果实图像；通过深度相机获得苹果果实的三维图像，利用所述三维图像获得二维彩色图像帧和三维深度信息帧；将所述二维彩色图像帧和三维深度信息帧导入所述Yolov5神经网络模型确定成熟苹果果实图像并确定目标果实中心点处的三维坐标；将所述三维坐标传输给Delta机械臂端实现对目标果实的摘取。
[0007]在一种可能的实现方式中，成熟苹果图像数据集的制作，包括：在自然光照条件下采集预定数量的苹果果实图像；使用LabelImg标注工具对采集的图像进行标注；依次通过几何变换、颜色空间变换和像素点操作对苹果果实图像进行数据扩增，最终得到三倍数量的图像，并对背景的复杂程度增加，避免数据的过拟合。
[0008]作为优化，所述几何变换包括翻转、缩放和组合，所述颜色空间变换包括：颜色扰动、亮度变化（变暗）和饱和度变化，所述像素点操作包括：模糊、添加椒盐噪声和添加高斯噪声。
[0009]作为优化，对Yolov5神经网络模型的改进包括：
修改Yolov5中的激活函数，将原激活函数替换为AconC激活函数；在Yolov5中加入CABM注意力机制，引入CBAM注意力机制以提高目标检测的精度。
[0010]作为优化，所述在Yolov5中加入CABM注意力机制，包括：在Yolov5的common.py文件中加入CBAM注意力机制的代码；在yolo.py文件中添加该注意力机制的类别；修改训练时需要用到的yaml配置文件，添加CABM层和from系数。
[0011]作为优化，所述将所述二维彩色图像帧和三维深度信息帧导入所述Yolov5神经网络模型确定成熟苹果果实图像并确定目标果实中心点处的三维坐标，包括：将所述二维彩色图像帧传入Yolov5神经网络模型中检测获取苹果目标的像素坐标确定目标果实；根据所述三维深度信息帧确定所述目标果实的中心点的深度值；根据所述深度值结合相机坐标系下的目标果实中心点的三维坐标确定目标果实中心点处的三维坐标。
[0012]作为优化，所述将所述三维坐标传输给Delta机械臂端实现对目标果实的摘取，包括：所述Delta机械臂端接收到所述目标果实中心点处的三维坐标后通过机械臂标定得到坐标系转换时用到的旋转、平移矩阵；根据所述旋转、平移矩阵得到机械臂坐标系下的目标果实中心点三维坐标，所述目标果实中心点三维坐标用于实现目标果实的抓取。
[0013]本方案还提供一种基于目标识别的苹果识别采摘系统，包括：模型训练模块，用于通过预设的成熟苹果图像数据集对改进的Yolov5神经网络模型进行训练，训练获得权重文件，用于检测并框选成熟苹果果实图像；图像获取模块，用于通过深度相机获得苹果果树的三维图像，利用所述三维图像获得二维彩色图像帧和三维深度信息帧；目标果实位置确定模块，用于将所述二维彩色图像帧和三维深度信息帧导入所述Yolov5神经网络模型确定成熟苹果果实图像并确定目标果实中心点处的三维坐标；果实摘取模块，用于将所述三维坐标传输给Delta机械臂端实现对目标果实的摘取。
[0014]本方案还提供一种设备，包括：处理器；存储器；以及计算机程序，其中所述计算机程序被存储在所述存储器中，所述计算机程序包括指令，当所述指令被所述处理器执行时，使得所述设备执行第一方面任一可能实现方式所述的方法。
[0015]本方案还提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行上述任一可能实现方式的方法。
[0016]本专利技术的有益效果为：通过成熟苹果图像数据集对Yolov5神经网络模型训练后，可以实现对苹果树中成熟苹果的准确获取。在采摘苹果时，通过深度相机获取的苹果果树三维图像，可准确确定需要摘取的目标果实三维坐标，从而实现了成熟苹果果实的精确采摘，提高了采摘成功率与采摘速度。
附图说明
[0017]为了更清楚地说明本专利技术的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
[0018]图1为本申请实施例提供的一种基于目标识别的苹果采摘方法的流程示意图；图2为本申请实施例提供的软件、硬件以及运行环境的框架示意图；图3为本申请实施例提供的Delta机械臂的示意图；图4为本申请实施例提供的数据集扩增的示意图；图5为本申请实施例提供的一种基于目标识别的苹果采摘系统的框架示意图；图6为本申请实施例提供的一种设备的示意图。
具体实施方式
[0019]为了更好的理解本申请的技术方案，下面结合附图对本申请实施例进行详细描述。
[0020]应当明确，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
[0021]在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。
[0022]图1为本申请实施例提供的一种基于目标识别的苹果采摘方法的流程示意图，参见图1，本实施例中的基于目标识别的苹果采摘方法，包括：S101，通过预设的成熟苹果图像数据集对改进的Yolov5神经网络模型进行训练，训练获得权重文件，用于检测并框选成熟苹果果实图像。
[0023]如图2所示是本专利技术所涉及的软件、硬件以及运行环境的结构示意图。该装置可分为苹果果实目标检测部分、Intel RealSense D435深度相机三维定位部分和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于目标识别的苹果采摘方法，其特征在于，包括：通过预设的成熟苹果图像数据集对改进的Yolov5神经网络模型进行训练，训练获得权重文件，用于检测并框选成熟苹果果实图像；通过深度相机获得苹果果树的三维图像，利用所述三维图像获得二维彩色图像帧和三维深度信息帧；将所述二维彩色图像帧和三维深度信息帧导入所述Yolov5神经网络模型确定成熟苹果果实图像并确定目标果实中心点处的三维坐标；将所述三维坐标传输给Delta机械臂端实现对目标果实的摘取。2.根据权利要求1所述的基于目标识别的苹果采摘方法，其特征在于，成熟苹果图像数据集的制作，包括：在自然光照条件下采集预定数量的苹果果实图像；使用LabelImg标注工具对采集的图像进行标注；依次通过几何变换、颜色空间变换和像素点操作对苹果果实图像进行数据扩增，最终得到三倍数量的图像，并对背景的复杂程度增加，避免数据的过拟合。3.根据权利要求2所述的基于目标识别的苹果采摘方法，其特征在于，所述几何变换包括翻转、缩放和组合，所述颜色空间变换包括：颜色扰动、亮度变化（变暗）和饱和度变化，所述像素点操作包括：模糊、添加椒盐噪声和添加高斯噪声。4.根据权利要求3所述的基于目标识别的苹果采摘方法，其特征在于，对Yolov5神经网络模型的改进包括：修改Yolov5中的激活函数，将原激活函数替换为AconC激活函数；在Yolov5中加入CABM注意力机制，引入CBAM注意力机制以提高目标检测的精度。5.根据权利要求4所述的基于目标识别的苹果采摘方法，其特征在于，所述在Yolov5中加入CABM注意力机制，包括：在Yolov5的common.py文件中加入CBAM注意力机制的代码；在yolo.py文件中添加该注意力机制的类别；修改训练时需要用到的yaml配置文件，添加CABM层和from系数。6.根据权利要求5所述的基于目标识别的苹果采摘方法，其特征在于，所述将所述二维彩色图像帧和三维深度...

【专利技术属性】
技术研发人员：王金星，刘俊生，杨化伟，闫银发，刘艺，赵光泽，张宏健，刘双喜，王玉亮，陈子旭，
申请(专利权)人：山东农业大学，
类型：发明
国别省市：