采摘机器人的自主导航和人机协同采摘作业系统技术方案

一种采摘机器人的自主导航和人机协同采摘作业系统，包括采摘机器人的行走部分，采摘机器手，用于自主导航、避障、定位和路径规划等功能的Agent，用于完成人-机协同采摘信息交互的无线传感网，用于在人机协同采摘作业中为采摘管理人员提供远程干预和管理的计算机，用于获取采摘区域全景立体视频图像的全景立体视觉传感器。本发明专利技术提供一种具有自然柔顺性好、机构简单、控制复杂度低、有限智能化、采摘效率高、环境适应性好、制造和维护成本低、采摘过程中不损害采摘对象和作物的采摘机器人的自主导航和人机协同采摘作业系统。

【技术实现步骤摘要】

本专利技术属于全景视觉技术、移动机器人的导航技术、无线传感网技术、人工智能技术和人机协同技术在颗粒状农作物自动化采摘方面的应用，尤其适用于人机协同的多采摘机器人的自主导航和采摘作业。
技术介绍
20世纪末，由于农业机械设计和制造技术趋于成熟，电子信息技术的快速发展，一批面向生产者应用的各种机电一体化技术产品开发出来并装备到农业机械上，使得诸如耕整、插秧、小麦收获等工作对象是均质平面的农业生产作业实现了机械化和自动化。而对于实现工作对象是分散的、并且需根据判断进行选择的上作如除草、间苗、蔬菜收获和水果收获等作业的机械化和自动化则是极为困难的，这些作业要求农业机械具备很高的智能。随着计算机技术和信息采集与处理技术的发展，人工智能、机器视觉等新技术在·农业机械中的应用研究得到了重视。结合了农艺技术、机械技术、电子技术、信息技术和人工智能技术的农业机器人的研制是当前国内外农业机具研究领域的研究热点之一。机器视觉用各种成像系统代替视觉器官作为输入敏感手段，由计算机来代替大脑完成处理和解释，能依据视觉敏感和反馈的某种程度的智能完成一定的任务。尤其是近年来，机器视觉技术的快速发展，为农业机器人的自主导航和农作物的识别提供了一种新的解决方案；全景立体视觉技术的出现为农业机器人的自主导航和农作物的识别定位提供了极大的便利。农作物采摘作业是农作物生产链中最耗时、最费力的一个环节。同时，采摘作业质量的好坏还直接影响到产品的后续加工和储存。如何以低成本获得高品质的产品是农作物生产环节中必须重视和考虑的问题。由于采摘作业的复杂性，目前我国采摘作业的规模化、自动化和智能化程度仍然很低，基本上农作物采摘作业都是手工进行，就棉花采摘这一项来说每年约需要人工采摘成本8个亿。随着人口的老龄化和农业劳动力的减少，农业生产成本也相应提高，这样会大大降低产品的市场竞争力。因此采摘机器人是未来智能农业机械的发展方向。采摘机器人工作在高度非结构化的环境下，采摘对象是有生命的生物体。同工业机器人相比，采摘机器人具有以下的特点1)采摘对象娇嫩、易脆，形状复杂且个体之间的差异性大；2)采摘对象大多数被树叶、树枝等掩盖，增大了机器人视觉定位难度，降低采摘成功率，同时对采摘机械手的避障提出了更高的要求；3)采摘机器人工作在非结构化的环境下，环境条件随着季节、天气的变化而发生变化，环境信息完全是未知的、开放的，对采摘机器人的智能控制水平要求高，在视觉、知识推理和判断等方面具有相当的智能；4)采摘对象是有生命的、易脆的生物体，要求在采摘过程中对果实无任何损伤，这就要求机器人的末端执行器具有柔顺性、灵巧性；5)由于缺少对采摘机器人的研究，沿用了工业机器人的设计思想，导致了采摘机器人的价格昂贵；6)采摘作业动作的复杂性，采摘机器人一般是采摘作业、移动同时进行，采摘区域的行走不是连接出发点和终点的最短距离，而是具有狭窄的范围，较长的距离及遍及整个田间表面等特点；7)由于采摘的延续时间长，需要在采摘过程中避免农作物受到损害，以免影响采摘的产量，比如棉花的采摘需要经历2个多月的时间；8)希望在采摘过程中进行分类，以提高采摘物的品质和减少后续的分拣工序。采摘机器人中无论采用何种移动机构，都存在移动机器人的自主导航问题。目前移动机器人有多种导航方式，根据环境信息的完整程度、导航指示信号的类型、导航地域等因素的不同，可以分为基于地图导航、基于信标导航、基于GPS和视觉导航以及基于感知器导航等。基于地图的导航方式，事先要将机器人的作业环境输入控制系统内，形成电子地图。在结构化、环境条件已知的情况下，可以采用此种方法。基于信标导航，需要在作业环境的确定位置设立信标。机器人通过安装在身体上的测量装置检测其与信标的相互关系，推算自身的位姿。这种方式下，机器人的定位误差只取决于机器人与各信标的相对位置，在工业自动导引小车中用到这种方法。采摘机器人的作业环境复杂，需要机器人根据环境的变化自行确定行走的方向。因此，视觉导航成为采摘机器人自主导航的首选方法。视觉导航技术的基本原理是，利用视觉传感器作为感知元件，获取周边环境的图像。经过图像二值化、滤波等图像处理后，利用Hough变换等技术提取边界信息。然后根据 模式识别技术，确定障碍物的方位和机器人的行走路线。控制器经过路径规划、优化，控制移动机构左右两轮的电机，指挥机器人在无人干涉情况下自主移动到预定的位置。视觉导航需要处理大量的图像数据，需要采用专用的图像处理卡。目前，有些研究者利用DSP芯片实现图像数据的采集、数字化转换、分析和处理的全部功能，直接将处理结果传送给主机。另一方面，目前在基于视觉导航的行走机器人技术方面基本上采用一般的彩色摄像机作为视觉感知元件，要获取采摘机器人周边环境的视频图像往往需要用多个摄像机分别朝着不同的方向进行拍摄，并用多视频图像数据融合的方式进行处理；另一种方案是采用云台技术不断地扫描行走机器人的周边环境；上述这两种方式都会增加硬件和软件成本，造成了在图像分析处理上很大的负担。对于非结构化的采摘环境采用全方位的智能感知是必不可少的。
技术实现思路
为了克服已有的农作物采摘机器人的自然柔顺性差、机构复杂、控制复杂度高、智能化要求高、制造和维护成本昂贵、容易损伤采摘对象、环境适应性差和采摘效率不高等不足，本专利技术提供一种具有自然柔顺性好、机构简单、控制复杂度低、有限智能化、采摘效率高、环境适应性好、制造和维护成本低、采摘过程中不损害采摘对象和作物的采摘机器人的自主导航和人机协同采摘作业系统。本专利技术解决其技术问题所采用的技术方案是—种米摘机器人的自主导航和人机协同米摘作业系统，包括米摘机器人，用于实现人-采摘机器人之间进行信息交互的、并能用于采摘机器人的空间定位的无线传感网和用于对采摘现场和采摘机器人的状态进行综合分析处理和判断的、并用于在人机协同采摘作业中为采摘管理人员提供远程干预和管理的计算机；所述的采摘机器人包括行走部分、采摘机器手、用于获取采摘区域全景立体视频图像的全景立体视觉传感器和用于实现采摘机器人的自主导航、避障、定位和路径规划功能的智能体，以下简称Agent,所述的Agent根据所述的全景立体视觉传感器感知的信息进行分析、计算和推理，在常规情况下，根据所述的采摘管理人员下达的采摘区域和采摘时间的采摘作业调度决策，自动做出路径规划，驱动所述的行走部分和所述的采摘机器手完成边行走边采摘的任务操作；在非常规情况下通过无线传感网向采摘管理人员提供非规则事件等信息，请求采摘管理人员的干预；所述的Agent包括任务规划行为模块、协调行为模块、与采摘管理人的交互行为模块、紧急行为模块、路径识别行为模块、避障行为模块、定位行为模块、路径跟踪行为模块、采摘边界识别行为模块、行走行为模块、转向行为模块、采摘对象的识别和分类行为模块、采摘对象的空间定位行为模块和采摘行为模块；所述的无线传感网，用于采摘管理人员与采摘机器人之间的信息交互，同时也能为采摘机器人的空间定位提供信息；采用一种以ns级的冲击脉冲在短距离内高速传输数据的无线通信技术，通过所述的无线传感网将分布在采摘区域中的采摘机器人与所述的采摘管理人员构成一个人-采摘机器人一体化的采摘管理和控制系统，根据需求、环境和采摘对象的变化，通过动态自组织的方式协同地感知本文档来自技高网...

【技术保护点】
一种采摘机器人的自主导航和人机协同采摘作业系统，其特征在于：包括采摘机器人，用于实现人？采摘机器人之间进行信息交互的、并能用于采摘机器人的空间定位的无线传感网和用于对采摘现场和采摘机器人的状态进行综合分析处理和判断的、并用于在人机协同采摘作业中为采摘管理人员提供远程干预和管理的计算机；所述的采摘机器人包括：行走部分、采摘机器手、用于获取采摘区域全景立体视频图像的全景立体视觉传感器和用于实现采摘机器人的自主导航、避障、定位和路径规划功能的智能体，以下简称Agent，所述的Agent根据所述的全景立体视觉传感器感知的信息进行分析、计算和推理，在常规情况下，根据所述的采摘管理人员下达的采摘区域和采摘时间的采摘作业调度决策，自动做出路径规划，驱动所述的行走部分和所述的采摘机器手完成边行走边采摘的任务操作；在非常规情况下通过无线传感网向采摘管理人员提供非规则事件等信息，请求采摘管理人员的干预；所述的Agent包括任务规划行为模块、协调行为模块、与采摘管理人的交互行为模块、紧急行为模块、路径识别行为模块、避障行为模块、定位行为模块、路径跟踪行为模块、采摘边界识别行为模块、行走行为模块、转向行为模块、采摘对象的识别和分类行为模块、采摘对象的空间定位行为模块和采摘行为模块；所述的无线传感网，用于采摘管理人员与采摘机器人之间的信息交互，同时也能为采摘机器人的空间定位提供信息；采用一种以ns级的冲击脉冲在短距离内高速传输数据的无线通信技术，通过所述的无线传感网将分布在采摘区域中的采摘机器人与所述的采摘管理人员构成一个人？采摘机器人一体化的采摘管理和控制系统，根据需求、环境和采摘对象的变化，通过动态自组织的方式协同地感知和采集网络分布区域的多采摘机器人和各种采摘对象的信息，形成一种人与采摘机器人相互激发、优势互补、共同寻求问题求解的协同机制。...

【技术特征摘要】

【专利技术属性】
技术研发人员：汤一平，俞立，孙明轩，徐建明，欧林林，陈国定，邢科新，倪洪杰，余世明，何德峰，董辉，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：