一种果蔬采摘方法、采摘机器人技术

本发明专利技术属于果蔬采摘技术领域，涉及一种果蔬采摘方法、采摘机器人。该果蔬采摘方法包括：在采摘机器人行走过程中拍摄侧面图像，基于侧面图像进行果蔬植株识别；当在侧面图像识别出果树植株时，采摘机器人停止行走；获取待采摘果蔬的图像；根据图像确定目标采摘区域及采摘路径和采摘顺序；按照采摘路径和采摘顺序对不同目标采摘区域的待采摘果蔬进行采摘；对采摘到的果蔬进行收集。该果蔬采摘方法，能够根据待采摘果蔬的图像确定目标采摘区域及采摘顺序，并基于待采摘果蔬的种类、根据待采摘果蔬的曲面及位姿角度信息确定合适的抓取点，通过采摘机器人控制其末端采摘机构完成采摘动作。本发明专利技术适用于采摘不同种类的果蔬，通用性强。通用性强。通用性强。

【技术实现步骤摘要】
一种果蔬采摘方法、采摘机器人


[0001]本专利技术属于果蔬采摘
，涉及一种果蔬采摘方法、采摘机器人。

技术介绍

[0002]近年来，随着我国社会农业的高速发展，果蔬种植规模越来越大，产量也逐年随之增长，但众所周知果蔬采摘具有季节性，并且果蔬的采摘期往往较短，这就造成果蔬成熟后采摘时，需要在短时间内完成采摘工作。但目前来讲，大部分果蔬的采摘还是以传统的人工采摘为主，机械化采摘程度不高，而传统人工采摘具有以下弊端：
[0003]一是成本高、效率低、劳动强度大：传统的果蔬采摘需要大量的人力投入，成本高昂，且人工采摘劳动强度大、效率低，难以满足市场需求；
[0004]二是劳动力短缺：随着我国城市化进程的加速，农村劳动力外流严重，导致农业生产劳动力短缺，影响果蔬采摘的效率和质量；
[0005]三是采摘过程中存在安全隐患：果蔬采摘需要攀爬、弯腰等动作，容易造成工人受伤，存在安全隐患。
[0006]为了解决传统人工采摘的上述弊端，国内外相关研发相继开发了多种果蔬采摘机器人，而采摘机器人的视觉识别和采摘方法是实现采摘作业成功完成的关键技术之一。但当前大多数采摘机器人只能用于采摘单一种类的果蔬，且不同种类的果蔬还需要配合不同的机械臂和末端采摘机构，这无疑增加了采摘机器人的加工成本。此外，不同种类的果蔬、甚至是同一种果蔬在不同的形状、不同位置的抓取点以及抓取力矩是不一样的，而现有的果蔬采摘方法并不能根据果蔬的种类、形状、位置等因素来确定具体的抓取点，从而影响采摘精度、降低采摘效率。
[0007]有鉴于此，特提出本专利技术。

技术实现思路

[0008]本专利技术的目的在于克服上述现有技术的缺点，提供一种果蔬采摘方法、采摘机器人，可实现对不同种类果蔬的采摘，并根据果蔬种类及实际分布情况进行高效率、高精度的采摘。
[0009]为实现上述目的，本专利技术提供了如下技术方案：
[0010]一方面，本专利技术提供了一种果蔬采摘方法，包括以下步骤：
[0011]1)在采摘机器人行走过程中拍摄侧面图像，基于所述侧面图像进行果蔬植株识别；当在所述侧面图像识别出果树植株时，采摘机器人停止行走；
[0012]2)获取待采摘果蔬的图像；
[0013]3)根据所述图像确定目标采摘区域及采摘路径和采摘顺序；
[0014]4)按照所述采摘路径和采摘顺序对不同目标采摘区域的待采摘果蔬进行采摘；
[0015]5)对采摘到的果蔬进行收集。
[0016]进一步，所述步骤2)中的图像包括2D图像及RGBD点云图像，方便构建2D
‑
3D匹配关
系。
[0017]进一步，所述步骤3)根据所述图像确定目标采摘区域及采摘路径和采摘顺序，具体包括：
[0018]使用预先训练好的YoloV5模型对所述2D图像进行检测，获得待采摘果蔬的种类和2D区域信息；根据所述2D区域信息确定目标采摘区域；
[0019]在确定的所述目标采摘区域内，按照确定的采摘路径及“由近及远
→
由上至下”的采摘顺序进行采摘。
[0020]进一步，所述步骤4)具体为：
[0021]根据所述2D区域信息及构建的2D
‑
3D匹配关系，计算得到待采摘果蔬的3D表面信息，所述3D表面信息包含曲面及位姿角度信息；所述2D
‑
3D匹配关系根据2D图像及RGBD点云图像构建得到；
[0022]基于所述待采摘果蔬的种类、根据所述待采摘果蔬的曲面及位姿角度信息确定合适的抓取点，采摘机器人控制其末端采摘机构完成采摘动作。
[0023]另一方面，本专利技术还提供了一种应用上述部分或全部所述果蔬采摘方法的采摘机器人，包括视觉识别系统、控制系统、执行机构和收集机构，所述控制系统分别与视觉识别系统、执行机构和收集机构连接；
[0024]所述视觉识别系统，用于获取侧面图像和待采摘果蔬的图像；
[0025]所述控制系统，用于对所述视觉识别系统获取的图像进行处理，确定目标采摘区域及采摘顺序，并控制执行机构或收集机构执行相应动作；
[0026]所述执行机构，用于接收所述控制系统反馈的动作指令并执行相应动作；
[0027]所述收集机构，用于对采摘到的果蔬进行收集。
[0028]进一步，所述执行机构包括行走机构、机械臂和末端采摘机构，
[0029]所述行走机构根据接收到的控制系统反馈的动作指令并执行相应的前进、后退或转向动作，进而带动采摘机器人移动至确定的目标采摘区域；
[0030]所述机械臂安装在行走机构的底盘上，能够通过多自由度调节以满足不同位置果蔬的采摘需求；所述机械臂包括直线导轨，所述直线导轨上安装有第一驱动机构，所述第一驱动机构用于驱动设在直线导轨上的支撑组件沿所述直线导轨往复移动；所述支撑组件上活动设有伸缩臂，所述伸缩臂的底部安装有用于驱动其在支撑组件上移动的第二驱动机构，所述伸缩臂的移动方向与直线导轨相垂直；
[0031]所述末端采摘机构设置在机械臂的末端，用于实现果蔬与果梗的分离。
[0032]进一步，所述支撑组件包括支撑座和与所述支撑座连接、并位于直线导轨两侧的第一滚轮以及与所述支撑座连接、并位于伸缩臂两侧的第二滚轮；其中，
[0033]所述直线导轨同一侧的两端安装有用于限定支撑座移动极限位置的限位结构；
[0034]所述支撑座的底部与第一驱动机构固定连接，且所述支撑座的顶部安装有第二传动机构；
[0035]所述直线导轨的顶部两侧布设有用于对第一滚轮进行定位引导的第一轨道，且所述第一滚轮活动卡接在第一轨道上；
[0036]所述伸缩臂的底部两侧布设有用于对第二滚轮进行定位引导的第二轨道，且所述第二滚轮活动卡接在第二轨道上。
[0037]进一步，所述第一驱动机构和第二驱动机构均包括同步带轮传动结构和驱动电机；
[0038]所述同步带轮传动结构包括主动齿轮、从动齿轮和绕设于所述主动齿轮和所述从动齿轮上的同步齿形带，所述同步齿形带分别与主动齿轮和从动齿轮啮合，所述主动齿轮由驱动电机提供驱动力；
[0039]所述第一驱动机构的同步齿形带与支撑座的底部固定连接，所述第二驱动机构的同步齿形带与支撑座的顶部固定连接。
[0040]进一步，所述视觉识别系统包括分别与控制系统连接的导航相机、第一采摘相机和第二采摘相机；
[0041]所述导航相机安装在行走机构的前、后端，用于获取采摘机器人行进时周围的环境信息以保证行进安全；
[0042]所述第一采摘相机安装在机械臂上，用于获取采摘机器人行走过程中两侧待采摘果蔬的2D图像及RGBD点云图像；
[0043]所述第二采摘相机安装在末端采摘机构上，用于获取目标采摘区域内待采摘果蔬的图像。
[0044]进一步，所述末端采摘机构包括夹持部，第一驱动机构和第二驱动机构；所述第一驱动机构与所述夹持部连接，用以驱动所述夹持部进行旋转和/或伸缩运动；所述第二驱动本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种果蔬采摘方法，其特征在于，包括以下步骤：1)在采摘机器人行走过程中拍摄侧面图像，基于所述侧面图像进行果蔬植株识别；当在所述侧面图像识别出果树植株时，采摘机器人停止行走；2)获取待采摘果蔬的图像；3)根据所述图像确定目标采摘区域及采摘路径和采摘顺序；4)按照所述采摘路径和采摘顺序对不同目标采摘区域的待采摘果蔬进行采摘；5)对采摘到的果蔬进行收集。2.根据权利要求1所述的果蔬采摘方法，其特征在于，所述步骤2)中的图像包括2D图像及RGBD点云图像。3.根据权利要求2所述的果蔬采摘方法，其特征在于，所述步骤3)根据所述图像确定目标采摘区域及采摘路径和采摘顺序，具体包括：使用预先训练好的YoloV5模型对所述2D图像进行检测，获得待采摘果蔬的种类和2D区域信息；根据所述2D区域信息确定目标采摘区域；在确定的所述目标采摘区域内，按照确定的采摘路径及“由近及远
→
由上至下”的采摘顺序进行采摘。4.根据权利要求3所述的果蔬采摘方法，其特征在于，所述步骤4)具体为：根据所述2D区域信息及构建的2D
‑
3D匹配关系，计算得到待采摘果蔬的3D表面信息，所述3D表面信息包含曲面及位姿角度信息；所述2D
‑
3D匹配关系根据2D图像及RGBD点云图像构建得到；基于所述待采摘果蔬的种类、根据所述待采摘果蔬的曲面及位姿角度信息确定合适的抓取点，采摘机器人控制其末端采摘机构完成采摘动作。5.一种应用权利要求1
‑
4任一项所述果蔬采摘方法的采摘机器人，其特征在于，包括视觉识别系统、控制系统、执行机构和收集机构(14)，所述控制系统分别与视觉识别系统、执行机构和收集机构(14)连接；所述视觉识别系统，用于获取侧面图像和待采摘果蔬的图像；所述控制系统，用于对所述视觉识别系统获取的图像进行处理，确定目标采摘区域及采摘顺序，并控制执行机构或收集机构(14)执行相应动作；所述执行机构，用于接收所述控制系统反馈的动作指令并执行相应动作；所述收集机构(14)，用于对采摘到的果蔬进行收集。6.根据权利要求5所述的采摘机器人，其特征在于，所述执行机构包括行走机构、机械臂和末端采摘机构，所述行走机构根据接收到的控制系统反馈的动作指令并执行相应的前进、后退或转向动作，进而带动采摘机器人移动至确定的目标采摘区域；所述机械臂安装在行走机构的底盘上，能够通过多自由度调节以满足不同位置果蔬的采摘需求；所述机械臂包括直线导轨(11)，所述直线导轨(11)上安装有第一驱动机构(1)，所述第一驱动机构(1)用于驱动设在直线导轨(11)上的支撑组件(2...

【专利技术属性】
技术研发人员：董霄剑，刘炜，
申请(专利权)人：陕西伟景机器人科技有限公司，
类型：发明
国别省市：