采摘机器人及其果实定位方法、装置、电子设备及介质制造方法及图纸

本发明专利技术提供一种采摘机器人及其果实定位方法、装置、电子设备及介质，属于智慧农业技术领域，该机器人包括机器人本体，机器人本体包括处理器；机器人本体上安装有多个第一图像采集模块和一个第二图像采集模块；机器人本体包括多个机械臂；每个机械臂周围对应安装有一个第一图像采集模块，各个第一图像采集模块不与对应的机械臂互相干涉；机器人本体的基座位置安装第二图像采集模块，用于确定基座坐标系；处理器基于获取各个第一图像采集模块采集作业区域中对应子区域的果树图像和基座坐标系，确定作业区域的全局果实定位分布信息，控制各个机械臂进行协同作业。本发明专利技术可以提高果实定位的精度和范围，也大幅提升了机器人的果实采摘效率。摘效率。摘效率。

【技术实现步骤摘要】
采摘机器人及其果实定位方法、装置、电子设备及介质


[0001]本专利技术涉及智慧农业
，尤其涉及一种采摘机器人及其果实定位方法、装置、电子设备及介质。

技术介绍

[0002]在农业劳动力短缺背景下，机器人采摘是果蔬产业发展的迫切需求。关于采摘机器人的果实信息获取方法和系统，研究者们开展了大量的研究工作，取得了积极进展。
[0003]现有采摘机器人系统较为常见的是采用单一视觉传感器，通过深度学习技术、传统机器视觉技术等手段对果实进行识别和定位，来指导采摘机器人作业。随着作业任务的不断增加，集成多个机械臂和末端执行机构的采摘机器人受到了越来越多的关注。
[0004]多臂采摘机器人机构数量较多、作业范围较大且各臂间易发生互相干涉，提前获取果实分布情况对于控制和规划尤为关键，对采摘效率影响较大。然而，现有多臂采摘机器人主要还是采用单一视觉传感器方案，将视觉传感器安装于距离作业面较远的位置上，由于感测距离较远，导致果实定位偏差较大，机器人的采摘效率并不高。

技术实现思路

[0005]本专利技术提供一种采摘机器人及其果本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种采摘机器人，其特征在于，包括：机器人本体，所述机器人本体包括处理器；所述机器人本体上安装有多个第一图像采集模块和一个第二图像采集模块；所述机器人本体包括多个机械臂；每个机械臂周围对应安装有一个所述第一图像采集模块，各个所述第一图像采集模块不与对应的机械臂互相干涉；所述机器人本体的基座位置安装所述第二图像采集模块，用于确定基座坐标系；所述处理器用于基于获取各个所述第一图像采集模块采集作业区域中对应子区域的果树图像和所述基座坐标系，确定所述作业区域的全局果实定位分布信息，并根据所述全局果实定位分布信息确定各个机械臂对应的局部果实定位分布信息，以控制各个机械臂进行协同作业。2.根据权利要求1所述的采摘机器人，其特征在于，所述机器人本体包括机身主架以及安装在所述机身主架上的多个连杆；每个所述连杆上至少安装两个机械臂，每个所述连杆上安装有每个机械臂对应的第一图像采集模块，每个所述第一图像采集模块位于对应的机械臂的末端关节附近。3.根据权利要求1所述的采摘机器人，其特征在于，所述机械臂为伸缩式机械臂；各个所述第一图像采集模块安装在对应的所述伸缩式机械臂的靠近手爪的一侧，每个所述第一图像采集模块的拍摄视角的中轴线与所述伸缩式机械臂的伸缩方向一致。4.一种应用于权利要求1
‑
3任一项所述的采摘机器人的果实定位方法，其特征在于，包括：获取各个第一图像采集模块采集作业区域中对应子区域的果树图像，并将各个所述果树图像输入至预设目标检测模型，得到所述预设目标检测模型输出的每个所述果树图像中各个果实的二维包围框信息和掩膜区域；利用每个所述果树图像中各个果实的掩膜区域和对应的图像深度信息，生成每个所述果树图像中各个果实的三维点云，并基于每个所述果树图像中各个果实的三维点云和二维包围框信息，确定每个所述果树图像中各个果实的定位坐标点；基于将每个所述果树图像中各个果实的定位坐标点转换到基座坐标系下的结果，确定所述作业区域的全局果实定位分布信息。5.根据权利要求4所述的果实定位方法，其特征在于，所述基于每个所述果树图像中各个果实的三维点云和二维包围框信息，确定每个所述果树图像中各个果实的定位坐标点，包括：利用点云聚类算法，对每个所述果树图像中各个果实的三维点云进行聚类计算，确定每个所述果树图像中各个果实的表面特征点；根据每个所述果树图像中各个果实的二维包围框信息，生成每个所述果树图像中各个果实对应的三维视锥体以及视锥体中心线；基于每个所述果树图像中各个果实对应的视锥体中心线以及表面特...

【专利技术属性】
技术研发人员：李涛，冯青春，郭鑫，
申请(专利权)人：北京市农林科学院智能装备技术研究中心，
类型：发明
国别省市：