成熟苹果快速识别定位方法、系统及苹果采摘设备技术方案

本申请公开了一种成熟苹果快速识别定位方法、系统及苹果采摘设备,对获取的不同成熟度的苹果图像数据集进行标注确定出不同类型果实的位置，并将标注好的数据集进行数据增强和数据集的划分；将网络进行轻量化改进；将数据集输入改进后的轻量化网络中进行训练获得苹果图像中果实的二维坐标；利用深度相机获取苹果图像的深度信息，并将苹果图像中果实的二维坐标与获得的深度信息相结合，得到目标苹果的三维坐标信息。通过图像数据集的标注确定出了图像中成熟苹果，然后将标注的数据集输入到轻量化网络中训练得到了目标苹果的二维坐标，最后结合苹果图像的深度信息获得了目标苹果的三维坐标信息。实现了苹果成熟度的判断、苹果快速识别与快速定位。果快速识别与快速定位。果快速识别与快速定位。

【技术实现步骤摘要】
成熟苹果快速识别定位方法、系统及苹果采摘设备


[0001]本申请涉及图像识别
，具体涉及一种成熟苹果快速识别定位方法、系统及苹果采摘设备。

技术介绍

[0002]苹果的高效、及时、无损采摘成为苹果产业发展的一个至关重要的环节。苹果的采收环节劳动量占其总生产环节劳动量的三分之二，利用人工采摘苹果劳动量十分巨大，人工成本很高。对于非矮化品种的苹果树，采摘工人需要利用梯子进行登高采摘，工人跌落的情况时有发生。因此实现苹果的自动化采摘对于提高苹果产业的生产效率、降低人工成本、提高市场竞争力方面都有着重要的意义。
[0003]现阶段，苹果采摘机器人所面临的问题有：对成熟苹果的识别与定位准确率较低，且识别与定位速度慢。专利CN111753577A公开了一种自动采摘机器人中的苹果识别与定位方法，其对采集到的苹果图像中重叠部分通过曲线拟合的方法进行填充，进而采用霍夫圆检测方法完成对苹果的识别；采用超声测距和摄像头，测量空间内苹果距采摘装置的距离。但是这种对成熟苹果的识别方法不适用于恶劣天气条件，例如雨、雪、雾天气等，光线的折射会导致识别精度变低。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种成熟苹果快速识别定位方法，其特征在于，包括：对获取的不同成熟度的苹果图像数据集进行标注确定出成熟和未成熟苹果果实的位置，并将标注好的数据集进行数据增强和数据集的划分；将YOLOv5s神经网络进行轻量化改进；将划分好的数据集输入改进后的轻量化网络中进行训练获得苹果图像中果实的二维坐标；利用深度相机获取苹果图像的深度信息，并将所述苹果图像中果实的二维坐标与获得的深度信息相结合，得到目标苹果的三维坐标信息。2.根据权利要求1所述的成熟苹果快速识别定位方法，其特征在于，所述将标注好的数据集进行数据增强，包括：增加下雨、下雪、雾化场景、随机增加黑框遮挡、高斯模糊、曝光调整、图片镜像和图片缩放的数据增强方式来扩充数据集。3.根据权利要求1所述的成熟苹果快速识别定位方法，其特征在于，所述将YOLOv5s神经网络进行轻量化改进，包括：使用轻量化网络GhostNet替换骨干网络中的CSPDarknet53，并将GhostNet中的SE注意力模块替换为CBAM注意力模块，最后对网络进行通道剪枝。4.根据权利要求3所述的成熟苹果快速识别定位方法，其特征在于，所述使用轻量化网络GhostNet替换骨干网络中的CSPDarknet53，包括：将GhostConv和GhostBottleneck的程序复制到models文件夹下面的common.py文件中；在yolo.py文件中，将GhostConv、GhostBottleneck和C3Ghost添加到注册表中，增加判断条件；修改yaml文件，将除了0层以外所有的C3模块替换为C3Ghost，使用GhostConv替换了所有的Conv。5.根据权利要求4所述的成熟苹果快速识别定位方法，其特征在于，所述将GhostNet中的SE注意力模块替换为CBAM注意力模块，包括：将CBAM注意力机制的程序复制到models文件夹下面的common.py文件中；在yolo.py文件中，将CBAM Layer添加到注册表中，增加判断条件；修改yaml文件，将CBAM模块添加到backbone最后一层，并修改Detect的form...

【专利技术属性】
技术研发人员：王金星，刘艺，刘双喜，刘俊生，闫银发，张宏建，孙经纬，杨化伟，
申请(专利权)人：山东农业大学，
类型：发明
国别省市：