基于视觉导航的采摘机器人及控制方法技术

本发明专利技术涉及一种基于视觉导航的采摘机器人及控制方法,包括：视觉导航模块，所述视觉导航模块用于对图像信息进行采集，通过实时采集田间的树干信息，将采集的图像数据信息反馈给工控机；图像处理模块，所述图像处理模块用于对图像数据信息进行处理，利用所述工控机对接收到的图像数据信息进行图像处理；计算模块，计算图像处理后的图像位姿，根据采摘机器人在田间中相对树干的位置偏差利用模糊控制器计算所述采摘机器人的转向时间；执行模块，根据所述转向时间控制所述采摘机器人的转向，实现所述采摘机器人自主行走。本发明专利技术精度高，识别速率快，鲁棒性强。

Picking robot and control method based on vision navigation

【技术实现步骤摘要】
基于视觉导航的采摘机器人及控制方法
本专利技术涉及农作物采摘的
，尤其是指一种基于视觉导航的采摘机器人及控制方法。
技术介绍
现有农作物的采摘主要通过人工完成，如枸杞是一种药食同源的植物，具有很高的药用价值和经济价值。目前枸杞采摘主要依靠人工采收，由于枸杞枝条上有许多棘刺，在进行人工采收时容易划伤手，而且效率低，因此制约了枸杞产业的发展。为了克服上述问题，现有通常利用机械器件进行采收，具有自主导航技术的机械器件对枸杞的采摘智能化具有重要意义，但是现有的对农田作业机械的自主导航定位研究主要集中在GPS和机器视觉导航这两种方式上，而视觉导航具有灵活性好、成本低、精度高、抗噪声能力强等特点，有利于技术的推广应用。由于枸杞采收机器人工作在非结构环境，受自然光照、生物多样性等不确定因素的影响，如何利用机器视觉技术检测导航信息成为难点。目前农机视觉导航研究大多是针对农田中的行播作物，因其具有明显的垄沟特点，为视觉系统提供了较好的识别依据。关于果园、林间等相对高大作物的视觉导航研究和报道相对少些，在这些环境中，受树干空间排列随机，大小形态各异，目标背景差异不明显等影响，增加了导航的难度。
技术实现思路
为此，本专利技术所要解决的技术问题在于克服现有技术中导航精度低、且识别速度慢的问题，从而提供一种导航精度高、且识别速度快的基于视觉导航的采摘机器人及控制方法。为解决上述技术问题，本专利技术的一种基于视觉导航的采摘机器人，包括：视觉导航模块，所述视觉导航模块用于对图像信息进行采集，通过实时采集田间的树干信息，将采集的图像数据信息反馈给工控机；图像处理模块，所述图像处理模块用于对图像数据信息进行处理，利用所述工控机对接收到的图像数据信息进行图像处理；计算模块，计算图像处理后的图像位姿，根据采摘机器人在田间中相对树干的位置偏差利用模糊控制器计算所述采摘机器人的转向时间；执行模块，根据所述转向时间控制所述采摘机器人的转向，实现所述采摘机器人自主行走。在本专利技术的一个实施例中，所述图像处理模块包括：图像灰度化处理模块、图像二值化及去噪模块、特征点提取与导航基准线生成模块、图像感兴趣区域信息提取模块，其中所述图像灰度化处理模块与所述工控机相连，所述图像灰度化处理模块通过所述图像二值化及去噪模块与所述特征点提取与导航基准线生成模块相连，所述特征点提取与导航基准线生成模块与所述图像感兴趣区域信息提取模块相连。在本专利技术的一个实施例中，所述图像二值化及去噪模块利用最大熵阈值方法分割图像，包括用指定像素的结构元素进行形态学开运算，再对图像中所有阈值面积大于设定值的轮廓进行标记，作为下一步轮廓提取的对象，同时将小于所述阈值的斑块噪声去除。在本专利技术的一个实施例中，所述特征点提取与导航基准线生成模块中，基于最小正外接矩形的特征点提取方法对所述提取的阈值面积大于设定值的轮廓绘制出最小正外接矩形，计算出最小正外接矩形底边中点的坐标，中点的坐标即为树干与地面的交点，提取作业侧的特征点利用最小二乘法即可拟合出导航基准线。在本专利技术的一个实施例中，所述图像感兴趣区域信息提取模块中，采用动态感兴趣区域对单侧树干进行实时跟踪，包括程序开始时对感兴趣区域位置进行初始化，使感兴趣区域中心线位置与图像中心线位置重合，设定多个初始参数:图像中点横坐标、导航线斜率、导航线与x轴截距，在处理第一帧图像时，将树干中点横坐标小于所述图像中点横坐标的树干坐标放到同一个数组中，生成导航线方程。在本专利技术的一个实施例中，所述模糊控制器采用双输入单输出的形式，输入量为所述采摘机器人的横向偏差和偏角，输出量为所述采摘机器人的转向时间，对所述输入量和输出量进行模糊化，根据所述采摘机器人在田间相对树干的位置偏差，设定所述横向偏差的范围和偏角的范围，其中所述横向偏差、偏角被划分成多个模糊子集，所述输出量是对所述采摘机器人的转向方向和程度的控制，同样划分为多个模糊子集。在本专利技术的一个实施例中，所述采摘机器人包括采收末端，所述采收末端包括固定树干枝条的第一手指以及带动枝条来回振动的第二手指。在本专利技术的一个实施例中，所述第二手指通过曲柄摇杆装置与动力装置相连。在本专利技术的一个实施例中，所述采收末端固定在移动模块上，所述移动模块包括与所述采收末端连接的滑块，所述滑块可滑动的设置在第一轨道上，所述第一轨道可滑动的设置在第二导轨上，所述第一轨道的延伸方向与所述第二轨道的延伸方向相互垂直。在本专利技术的一个实施例中，所述采摘机器人包括第一转向动力装置、第一钢丝绳、第一转向离合器以及第二转向动力装置、第二钢丝绳、第二右转向离合器，其中所述第一转向动力装置通过所述第一钢丝绳与所述第一转向离合器的第一拨叉相连，所述第二转向动力装置通过所述第二钢丝绳与所述第二转向离合器的第二拨叉相连，所述第一拨叉和所述第二拨叉通过伸缩件相连。在本专利技术的一个实施例中，所述采摘机器人包括履带式底盘车，所述履带式底盘车上设有相机框架，所述摄像头安放在所述相机框架上。本专利技术还提供了一种基于视觉导航的采摘机器人的控制方法，包括如下步骤：本专利技术的上述技术方案相比现有技术具有以下优点：本专利技术所述的基于视觉导航的采摘机器人及控制方法，包括实时采集田间的树干信息，将采集的图像数据信息反馈给工控机；利用所述工控机对接收到的图像数据信息进行图像处理；计算图像处理后的图像位姿，根据采摘机器人在田间中相对树干的位置偏差利用模糊控制器计算所述采摘机器人的转向时间；根据所述转向时间控制所述采摘机器人的转向，实现所述采摘机器人自主行走。本专利技术具有精度高，识别速率快，鲁棒性强等特点；而且视觉导航模块成本低，可移植性强；另外，底盘车转向相应速度快，控制方法简单实用；再者，结构简单、操作方便、成本低廉、使用寿命长。附图说明为了使本专利技术的内容更容易被清楚的理解，下面根据本专利技术的具体实施例并结合附图，对本专利技术作进一步详细的说明，其中图1是本专利技术基于视觉导航的采摘机器人的组成示意图；图2(a)-图2(d)是本专利技术利用图像处理模块处理图像时的各个示意图；图3是本专利技术感兴趣区域的提取示意图；图4本专利技术基于视觉导航的采摘机器人的立体图；图5是本专利技术采收末端的示意图；图6是本专利技术基于视觉导航的采摘机器人的仰视图。说明书附图标记说明：10-采收末端，11-第一手指，12-第二手指，13-曲柄摇杆装置，14-动力装置，20-移动模块，21-滑块，22-第一轨道，23-第二轨道，31A-第一转向动力装置，31B-第二转向动力装置，32A-第一钢丝绳，32B-第二钢丝绳，33A-第一拨叉，33B-第二拨叉，34-伸缩件，35-机架，40-履带式底盘车，41-相机框架，42-摄像头。具体实施方式实施例一如图1所示，本实施例提供一种基于视觉导航的采摘机器人，包括：视觉导航模块，所述视觉导航模块用于对图像信息进行采集，通过实时采集田间的树干信息，将采集的图像数据信息反馈给工控机；图像处理模块，所述图像本文档来自技高网...

【技术保护点】
1.一种基于视觉导航的采摘机器人，其特征在于，包括：/n视觉导航模块，所述视觉导航模块用于对图像信息进行采集，通过实时采集田间的树干信息，将采集的图像数据信息反馈给工控机；/n图像处理模块，所述图像处理模块用于对图像数据信息进行处理，利用所述工控机对接收到的图像数据信息进行图像处理；/n计算模块，计算图像处理后的图像位姿，根据采摘机器人在田间中相对树干的位置偏差利用模糊控制器计算所述采摘机器人的转向时间；/n执行模块，根据所述转向时间控制所述采摘机器人的转向，实现所述采摘机器人自主行走。/n

【技术特征摘要】
1.一种基于视觉导航的采摘机器人，其特征在于，包括：
视觉导航模块，所述视觉导航模块用于对图像信息进行采集，通过实时采集田间的树干信息，将采集的图像数据信息反馈给工控机；
图像处理模块，所述图像处理模块用于对图像数据信息进行处理，利用所述工控机对接收到的图像数据信息进行图像处理；
计算模块，计算图像处理后的图像位姿，根据采摘机器人在田间中相对树干的位置偏差利用模糊控制器计算所述采摘机器人的转向时间；
执行模块，根据所述转向时间控制所述采摘机器人的转向，实现所述采摘机器人自主行走。


2.根据权利要求1所述的基于视觉导航的采摘机器人，其特征在于：所述图像处理模块包括：图像灰度化处理模块、图像二值化及去噪模块、特征点提取与导航基准线生成模块、图像感兴趣区域信息提取模块，其中所述图像灰度化处理模块与所述工控机相连，所述图像灰度化处理模块通过所述图像二值化及去噪模块与所述特征点提取与导航基准线生成模块相连，所述特征点提取与导航基准线生成模块与所述图像感兴趣区域信息提取模块相连。


3.根据权利要求2所述的基于视觉导航的采摘机器人，其特征在于：所述图像二值化及去噪模块利用最大熵阈值方法分割图像，包括用指定像素的结构元素进行形态学开运算，再对图像中所有阈值面积大于设定值的轮廓进行标记，作为下一步轮廓提取的对象，同时将小于所述阈值的斑块噪声去除。


4.根据权利要求3所述的基于视觉导航的采摘机器人，其特征在于：所述特征点提取与导航基准线生成模块中，基于最小正外接矩形的特征点提取方法对所述提取的阈值面积大于设定值的轮廓绘制出最小正外接矩形，计算出最小正外接矩形底边中点的坐标，中点的坐标即为树干与地面的交点，提取作业侧的特征点利用最小二乘法即可拟合出导航基准线。


5.根据权利要求4所述的基于视觉导航的采摘机器人，其特征在于：所述图像感兴趣区域信息提取模块中，采用动态感兴趣区域对单侧树干进行实时跟踪，包括程序开始时对感兴趣区域位置进行初始化，使感兴趣区域中心线位置与图像中心线位置重合，设定多个初始参数:图像中点横坐标、导航线斜率、导航线与x轴截距，在处理第一帧图像时，将树干中点横坐标小于所述图像中点横坐标的树干坐标放到同一个数组中，生成导航线方程。


6.根...

【专利技术属性】
技术研发人员：李伟，张文强，王蓬勃，耿长兴，马跃，
申请(专利权)人：苏州博田自动化技术有限公司，
类型：发明
国别省市：江苏;32