一种基于视觉算法的荔枝识别方法和仿生荔枝采摘机器人技术

本发明专利技术公开了一种基于视觉算法的荔枝识别方法和仿生荔枝采摘机器人。所述荔枝识别方法包括：训练权重、图像预处理、目标识别、成熟度判断、定位目标，基于双目立体匹配原理得到荔枝果实目标的点云信息，并计算获取荔枝果实目标的三维位置。所述仿生荔枝采摘机器人人包括移动平台、定位装置、机械臂、自主导航双目相机、自主识别定位双目相机、仿生末端执行器。本发明专利技术可以准确识别野外复杂环境下的荔枝图像，同时配置仿生夹持与夹剪一体化的末端执行器，并能实现精确的自主导航定位，采摘效率高，对荔枝果实损伤小。荔枝果实损伤小。荔枝果实损伤小。

【技术实现步骤摘要】
一种基于视觉算法的荔枝识别方法和仿生荔枝采摘机器人


[0001]本专利技术属于农业智能机械领域，具体涉及一种基于视觉算法的荔枝识别方法和仿生荔枝采摘机器人。

技术介绍

[0002]我国是农业种植大国，荔枝被称为南国四大果品之一，荔枝采摘是关键环节。由于荔枝采摘的特殊性，荔枝采摘机器人还存在一些技术问题。一方面，荔枝采摘机器人对荔枝的识别是通过双目相机对目标荔枝截取图像与深度学习的训练权重进行比对，然后根据比对结果判断目标是否为荔枝。然而在野外环境光照影响下，相机采集图像时存在过曝或者过暗的情况，并且荔枝之间也会存在遮挡，产生许多干扰，无法有效地分类识别复杂场景的目标荔枝，导致采摘失败。因此，如何处理野外复杂环境下的目标荔枝图像，提高荔枝视觉识别的精度，是荔枝采摘机器人急需解决的关键技术问题。另一方面，现有的荔枝采摘机器人采用夹指末端执行器对荔枝进行抓取，而荔枝为串结果实且果实偏软，夹指抓取效率较低，在剪切过程中会使荔枝果实产生破损。因此，需要改进荔枝采摘机器人的末端执行器，使其实现夹剪一体化，减少荔枝果实的破损率，提高采摘效率。此外，目前在采摘时，需要先把荔枝采摘机器人放在果树旁边，频繁地人为移动机器人需要耗费大量的人力，难以实现真正的自动化，因此实现荔枝采摘机器人的自动导航，将提高其采摘效率。

技术实现思路

[0003]本专利技术的目的在于克服现有技术中存在的缺点，提供一种基于视觉算法的荔枝识别方法和仿生荔枝采摘机器人，可以准确识别野外复杂环境下的荔枝图像，同时配置仿生夹持与夹剪一体化的末端执行器，并能实现精确的自主导航定位，采摘效率高，对荔枝果实损伤小。
[0004]本专利技术的目的通过下述技术方案实现：
[0005]一种仿生荔枝采摘机器人，包括移动平台、定位装置4、机械臂6、自主导航双目相机8、自主识别定位双目相机9、仿生末端执行器10；定位装置4和机械臂6安装在移动平台上，自主导航双目相机8安装在移动平台上，自主识别定位双目相机9安装在机械臂6上；仿生末端执行器10安装在机械臂6的末端。
[0006]所述定位装置4为卫星及北斗导航定位装置。
[0007]所述移动平台包括履带式行走底盘1和支撑平台2；支撑平台2置于履带式行走底盘1的上方，通过螺栓与履带式行走底盘进行连接，用于支撑机械臂。履带式行走底盘1的履带相对于传统的行走轮触地面积大，单位面积的压强小，可灵活适应多种地形，能稳定地在果园环境中作业。
[0008]所述移动平台的侧边安装有荔枝收集箱3，用于存储采摘的荔枝；所述仿生末端执行器10的下方安装有荔枝接收装置11，所述荔枝接收装置11的出口与荔枝收集箱3相连通。
[0009]所述自主识别定位双目相机9用于对荔枝图像的采集、图像预处理以及目标荔枝
的识别与三维定位，通过支架7安装在机械臂上。所述自主导航双目相机8用于果园地图的构建与加载，通过支架5安装在移动平台上。
[0010]所述仿生末端执行器包括末端连接座12、L型夹紧手指座13、弹簧14、活动夹指15、仿生鹰嘴型动刀片16、动刀片压板17、定刀片上座18、电磁铁19、底座20、定夹指21、仿生鹰嘴型定刀片22；末端连接座12固定在机械臂的末端；末端连接座12与底座20通过铝型材相连接；电磁铁19和定夹指21安装在底座20的上表面，弹簧14为电磁铁上零件，用于电磁铁的复位；仿生鹰嘴型定刀片22通过定刀片上座18固定在定夹指21的上表面；L型夹紧手指座13的两面通过螺栓与电磁铁19相连接；仿生鹰嘴型动刀片16通过动刀片压板17固定在夹紧手指座13的L型内侧的一边上，活动夹指15固定在夹紧手指座13的L型内侧的另一边。
[0011]仿生鹰嘴型定刀片22与仿生鹰嘴型动刀片16相对应；仿生鹰嘴型定刀片22的刀尖呈弯曲鹰嘴状；仿生鹰嘴型动刀片16为鹰嘴下颚形状，刀片外端倒角为30
°
～40
°
。
[0012]活动夹指和定夹指相对应，均采用PC
‑
ABS材料3D打印而成，在其表面均采用CFRP材料，表面结构均为仿生章鱼触手小吸盘，小吸盘呈漏斗状，大头向外，左右分布多列，相邻两列之间交错排序。
[0013]所述接收装置11采用仿生蛙嘴型设计，通过电磁铁实现蛙嘴的开合。
[0014]本专利技术采摘机器人的工作原理是：(1)仿生末端执行器采用电磁铁19作为动力装置，电磁铁19可以满足剪切的力量和行程要求，在采摘工作时，电磁铁19通电，拉动夹紧手指座13带动活动夹指15与仿生鹰嘴型动刀片16完成夹剪一体操作；(2)本专利技术的刀片采用仿生鹰嘴型的设计，定刀片是仿生老鹰的上喙，其上喙切缘具弧状垂凸，既可以扩大咬合面积，而且在咬合目标时不容易使目标脱落，由于荔枝果梗有较高的韧性且有汁水，不容易直接被剪断，在荔枝采摘时经常出现无法剪断荔枝果梗与果梗滑出剪切范围的情况，因此本专利技术提出的仿生鹰嘴型刀片，可以模拟鹰嘴咬合来稳定地完成剪切作业，在剪切时鹰嘴型刀片可以勾住荔枝果枝向内滑移，避免荔枝果梗从剪切范围内滑出；(3)活动夹指和定夹指均采用PC
‑
ABS材料3D打印而成，PC
‑
ABS材料是由聚碳酸酯(PC)和聚丙烯精(ABS)合金而成的热可塑性塑胶，具有两种材料的优异特性，耐温性达135℃，在野外高温环境下不会产生形变，其材料密度大约为1.2g/cm3，有效减轻仿生末端执行器的整体质量；(4)活动夹指和定夹指的表面设计为CFRP材料的仿生章鱼触手小吸盘，CFRP材料具有很高的摩擦系数，以及质量轻、强度高和耐腐蚀等优良特性，能良好的适应野外复杂环境；当活动夹指和定夹指闭合夹持时，会使得仿生章鱼触手小吸盘挤压空气，实现吸合，夹持更加稳定，较好的防止了荔枝果实脱落；(5)本专利技术设计的仿生型接收装置，采用仿生蛙嘴型设计，在采摘进程中，蛙嘴关闭，防止打开的蛙嘴将目标荔枝顶开，在采摘进程结束回到识别姿态时，蛙嘴打开，接收采摘下的荔枝，然后通过蛇形管道平稳落入收集箱中。
[0015]一种基于图像视觉算法的荔枝识别方法，包括下述步骤：
[0016](A)训练权重：采集荔枝样本图像，对图像进行旋转、偏移、镜像、切割以扩充图像数据集；然后对图像中的荔枝打标签，采用优化后的YOLOv7深度学习网络对图像和标签进行训练，得到训练权重；
[0017](B)图像预处理：在采摘模式下，自主识别定位双目相机对荔枝果实进行图像采集，然后针对野外光照影响情况，进行过曝的荔枝图像预处理或过暗的荔枝图像预处理；
[0018](C)目标识别：将预处理后的荔枝图像推入优化后的YOLOv7神经识别网络，与步骤
(A)获得的训练权重进行比对匹配，从荔枝图像中识别出荔枝果实目标；
[0019](D)成熟度判断：将识别出的荔枝果实目标从左到右进行排序，对每个目标的RGB特征进行采集，然后计算方差、R与G的差，通过这两个数值判断荔枝成熟度信息，再将荔枝成熟度信息反馈到控制中心，判断是否对荔枝果实进行采摘；
[0020](E)定位本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像视觉算法的荔枝识别方法，其特征在于包括下述步骤：(A)训练权重：采集荔枝样本图像，对图像进行旋转、偏移、镜像、切割以扩充图像数据集；然后对图像中的荔枝打标签，采用优化后的YOLOv7深度学习网络对图像和标签进行训练，得到训练权重；(B)图像预处理：在采摘模式下，自主识别定位双目相机对荔枝果实进行图像采集，然后针对野外光照影响情况，进行过曝的荔枝图像预处理或过暗的荔枝图像预处理；(C)目标识别：将预处理后的荔枝图像推入优化后的YOLOv7神经识别网络，与步骤(A)获得的训练权重进行比对匹配，从荔枝图像中识别出荔枝果实目标；(D)成熟度判断：将识别出的荔枝果实目标从左到右进行排序，对每个目标的RGB特征进行采集，然后计算方差、R与G的差，通过这两个数值判断荔枝成熟度信息，再将荔枝成熟度信息反馈到控制中心，判断是否对荔枝果实进行采摘；(E)定位目标：当控制中心判断荔枝果实目标成熟，自主识别定位双目相机获取荔枝果实目标信息，通过相机双目立体匹配原理得到荔枝果实目标的深度图，然后通过三维重构，得到荔枝果实目标的点云信息。2.根据权利要求1所述的基于图像视觉算法的荔枝识别方法，其特征在于：步骤(A)中，所述优化后的YOLOv7深度学习网络，是对YOLOv7的神经网络结构和训练网络参数进行优化，即基于CNN
‑
transformer模块进行结构优化，替换YOLOv7神经网络原有的backbone模块，对CNN
‑
transformer模块的特征提取部分进行降采样的修改，并增加全局池化次数，使得模块支持特征重用和特征传播；利用DetectX Head模块与YOLOv7神经网络结构的Head模块进行替换并修改，将DetectX Head模块内的Conv模块修改，降低参数量。3.根据权利要求1所述的基于图像视觉算法的荔枝识别方法，其特征在于：步骤(B)中，所述过曝的荔枝图像预处理，是先采用双边滤波函数进行图像的保边去噪，然后将图像转为HSV色彩空间，对V分量采用直方图均衡化操作，得到光照强度变化平滑的V分量图，再对V分量图使用幂次变换操作，使整体光照亮度均匀降低后，将处理后的V分量替换原来的V分量图，得到光照强度降低图像，再将图像转回RGB色彩空间；然后采用优化的融合色彩恢复因子的多尺度Retinex算法对图像进行色彩恢复，得到光照均匀且色彩符合真实值的图像；所述过暗的荔枝图像预处理，是先采用双边滤波函数进行图像的保边去噪，然后将图像转为HSV色彩空间，对V分量采用对数变换和小波变换操作，得到光照强度均匀拉伸的图像，再对转换回的RGB图像使用伽马校正，然后采用基于HSL空间的色彩饱和度自适应增强算法，得到光照强度提升且色彩符合真实值的图像。4.根据权利要求1所述的基于图像视觉算法的荔枝识别方法，其特征在于：步骤(D)中，所述荔枝成熟度判断，是将识别目标从左到右排序，计算识别目标的RGB方差值以及R分量与G分量的差，根据统计成熟荔枝果实的R与G之间的差来设定成熟度阈值i，R
‑
G>＝i则判断为成熟荔枝，可以采摘；R
‑
G<i则判断为未成熟荔枝，跳入下一识别目标的计算。5.一种仿生荔枝采摘机器人，其特征在于：采用权利要求1～4中任一项所述的基于图像视觉算法的荔枝识别方法；所述采摘机器人包括移动平台、定位装置、机械臂、自主导航双目相机、自主识别定位双目相机、仿生末端执行器；定位装置和机械臂安装在移动平台上，自主导航双目相机安装在移动平台上，自主识别定位双目相机安装在机械臂上；仿生...

【专利技术属性】
技术研发人员：唐昀超，邹湘军，汤威，阙天顺，严植玮，龙泽政，邹天龙，苏超云，
申请(专利权)人：佛山市中科农业机器人与智慧农业创新研究院，
类型：发明
国别省市：