基于数字双胞胎的采摘方法及云采摘机器人系统技术方案

本发明专利技术提供一种基于数字双胞胎的采摘方法和云采摘机器人系统，通过云采摘机器人系统中的云服务器构建种植园环境数字孪生体和采摘机器人数字孪生体，操作人员根据云服务器呈现的可视化信息远程控制采摘机器人进行采摘作业。通过本发明专利技术的技术方案，基于数字双胞胎技术将种植园采摘环境进行虚拟重建，可通过云服务器远程、可视的方式完成采摘作业，在一个操作人员的情况下远程完成多个采摘任务，降低目前采摘机器人对现场操作人员的依赖。目前采摘机器人对现场操作人员的依赖。目前采摘机器人对现场操作人员的依赖。

【技术实现步骤摘要】
基于数字双胞胎的采摘方法及云采摘机器人系统


[0001]本专利技术涉及农业采摘领域，尤其涉及一种基于数字双胞胎的采摘方法及云采摘机器人系统。

技术介绍

[0002]目前，采摘作业在农业生产中，大量采用人工采摘的形式，这种方式采摘效率低下，人员劳动强度大，对于大规模的种植园来说，采摘成本过高。近年来随着我国农业产业结构的调整及林果种植面积的不断扩大，劳动力成本的日益上涨、人口老龄化等带来的劳动力不足等问题日益突出，急需一批自动化、智能化的采摘设备来实现林果的采摘，以解放现有劳动力、提高生产效率并降低生产成本。
[0003]基于这一现象，已经有相当多的研究聚焦于采摘机器人的研发上，重点针对采摘效率、采摘精度等方面，能够完成一部分的采摘任务。然而，采摘机器人的操作仍需要较高的专业水平，并且采摘任务耗时较长，对作业人员的劳动时间要求高，也在一定程度上限制采摘机器人的应用。因此，需要提供一种新的系统和方法，使一个操作人员可远程完成多个采摘任务，进一步降低目前采摘机器人对现场操作人员的依赖。

技术实现思路

[0004]本专利技术是鉴本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数字双胞胎的采摘方法，其特征在于，所述方法包括：云服务器根据采摘机器人在种植园现场巡航反馈的包括植株、障碍物的环境信息构建基于经纬度的种植园环境数字孪生体；云服务器在构建种植园环境数字孪生体的同时，根据深度神经网络对采集的图像信息中的果蔬进行识别，结合图像信息中的点云数据，获取果蔬坐标与果蔬形状信息，并在种植园环境数字孪生体中标注果蔬三维信息，完成对果蔬目标的一次定位；云服务器根据采摘机器人实时反馈的信息生成采摘机器人数字孪生体，并通过导航装置信息在种植园环境数字孪生体中进行实时映射；操作人员根据云服务器呈现的种植园环境数字孪生体和采摘机器人数字孪生体的可视化信息，远程控制采摘机器人移动至采摘起始位置启动采摘任务；采摘机器人根据种植园环境数字孪生体中的果蔬信息，以采摘起始位置为路径起始点与终止点，生成覆盖所有果蔬目标的行走路径并移动进行采摘；云服务器根据采摘机器人移动过程中实时反馈的包括植株、障碍物的环境信息同步修正种植园环境数字孪生体；云服务器根据采摘机器人在采摘目标位置反馈的信息对采摘目标进行二次定位，并驱动采摘机器人完成对采摘目标的采摘动作。2.根据权利要求1所述的基于数字双胞胎的采摘方法，其特征在于，对采摘目标进行二次定位的方法包括：采摘机器人按照行走路径进行自动采摘任务，根据种植园环境数字孪生体中的果蔬信息，结合自身的经纬度坐标，查找距离最近的果蔬位置进行采摘；采摘机器人移动至距离最近的果蔬采摘目标处，根据种植园数字孪生体中该果蔬的坐标信息，驱使机械臂移动至采摘目标位置下方，在机械臂移动过程中，利用位于采摘机器人采摘装置上的第一相机采集该采摘目标果蔬附近环境的信息，云服务器对采集信息中采摘目标果蔬位置进行多次判别，通过对判别结果取平均值完成对采摘目标的二次定位。3.根据权利要求1所述的基于数字双胞胎的采摘方法，其特征在于，所述构建基于经纬度的种植园环境数字孪生体的方法包括：操作人员实地勘探种植园地形环境，确定所有可行道路，通过导航装置在导航地图中规划所有可行道路的巡航线路；获取行进路线后，采摘机器人在导航装置的引导下，采摘机器人的移动AGV小车根据地图信息进行巡航，同时开启第二相机、第三相机、第四相机、第五相机、第六相机和第七相机采集种植园包括植株、障碍物的环境的点云信息；同一时刻采集到的点云信息与导航装置获取的经纬度信息，通过通讯装置实时传输到云服务器；云服务器在接收到种植园环境的点云信息后，通过三维重建算法完成种植园三维模型的建图任务，结合导航装置生成的经纬度信息，完成基于经纬度的种植园包括植株、障碍物的环境的数字孪生体的构建。4.根据权利要求1所述的基于数字双胞胎的采摘方法，其特征在于，所述采摘机器人在所述种植园环境数字孪生体中实时映射的方法包括：采摘机器人在运行过程中，控制系统通过串口通信获取采摘机器人的六自由度机械臂
的实时位姿，并通过通讯模块实时反馈六自由度机械臂的位姿信息到云服务器；云服务器根据采摘机器人实时的六自由度机械臂的位姿信息，结合采摘机器人各部分的安装参数，生成采摘机器人的数字孪生体；云服务器根据采摘机器人导航装置获取的实时经纬度信息与采摘机器人实时方向信息，通过经纬度将采摘机器人数字孪生体与基于经纬度的种植园环境的数字孪生体融合，并基于实时方向信息确定采摘机器人的行进方向，实现采摘机器人数字孪生体在基于经纬度的种植园环境的数字孪生体中的实时映射。5.根据权利要求1所述的基于数字双胞胎的采摘方法，其特征在于，动态修正基于经纬度的种植园环境数字孪生体的方法包括：采摘机器人移动过程中，第二相机、第三相机、第四相机、第五相机、第六相机和第七相机分别采集采摘机器人移动AGV小车周围的点云信息与图像信息，结合导航装置信息，...

【专利技术属性】
技术研发人员：晏毓，王睿远，
申请(专利权)人：杭州乔戈里科技有限公司，
类型：发明
国别省市：