一种基于视觉伺服的采摘机器人控制系统及控制方法技术方案

本发明专利技术涉及一种基于视觉伺服的采摘机器人控制系统及控制方法，其特征在于，包括主控制器，以及分别与所述主控制器连接的底盘控制模块、视觉模块、导航定位模块、机械臂控制模块和机械爪控制模块；所述视觉模块包括单目视觉模块和双目视觉模块，所述双目视觉模块为采摘机器人提供全局视野以确定采摘停靠点并辅助所述导航定位模块工作，所述单目视觉模块为采摘机器人提供采摘停靠点周围采摘作业空间内被采摘果实的位置。本发明专利技术能够减少视觉测量精度和机械臂定位精度对采摘作业成功率的影响，可以同时兼顾采摘速度和效率。

【技术实现步骤摘要】
一种基于视觉伺服的采摘机器人控制系统及控制方法
本专利技术属于农业机器人控制
，具体涉及一种基于视觉伺服的采摘机器人控制系统及控制方法。
技术介绍
随着科技的发展，农业机械智能化程度不断提高，使用机器人代替人工已经成为现代农业发展的趋势。选择性果实收获是最耗时费力的农业作业环节之一，近40年来，人类一直试图采用机器人从事这一工作。但由于作业环境复杂，作业对象的物理参数非结构化，有几项关键因素影响选择性果实收获机器人的作业效果，其中之一是目标果实识别定位单元和采摘执行部件的精准协同作业，也就是手眼协同作业系统。传统的手眼协调作业系统中，主要包括“eyetohand”和“eyeinhand”两种方式。然而，基于“eyetohand”的手眼协调作业系统中，机械臂运动会导致目标物体遮蔽，当环境改变或相机移动时需要重新标定相机，视觉系统和机械系统的精度也会影响到作业成功率、作业精度和成本。在“eyeinhand”的手眼协调作业系统的视野小，需要不断调用摄像头图像的处理结果，反馈控制机械臂，机器人易抖动，影响系统的控制稳定性和采摘速度。
技术实现思路
为了同时兼顾自动化采摘过程中的作业精度和作业速度，达到快速高效采摘果蔬的效果，本专利技术设计了一种基于视觉伺服的采摘机器人控制系统及控制方法。为了实现上述目的，本专利技术一方面采用了以下方案：一种基于视觉伺服的采摘机器人控制系统，包括主控制器，以及分别与所述主控制器连接的底盘控制模块、视觉模块、导航定位模块、机械臂控制模块和机械爪控制模块；所述视觉模块包括单目视觉模块和双目视觉模块，所述双目视觉模块为采摘机器人提供全局视野以确定采摘停靠点并辅助所述导航定位模块工作，所述单目视觉模块为采摘机器人提供采摘停靠点周围采摘作业空间内被采摘果实的位置。进一步，所述双目视觉模块包含双目相机和双目视觉处理器，所述双目视觉处理器与所述主控制器连接并对所述双目相机传回的图像进行处理。进一步，所述单目视觉模块包括单目相机和单目视觉处理器，所述单目视觉处理器与所述主控制器连接并对所述单目相机传回的图像进行处理。进一步，所述双目视觉处理器和所述单目视觉处理器采用同一个视觉处理器，所述视觉处理器为工控机。进一步，所述双目相机安装在机械臂的基座正前方，所述单目相机安装在所述机械臂的末端机械爪的中心位置。进一步，还包括光电开关，所述光电开关安装在所述末端机械爪的中心位置且与所述主控制器连接。进一步，所述底盘控制模块包括底盘电机控制器和轮毂电机，所述底盘电机控制器和轮毂电机各有两个且一一对应；所述轮毂电机配置有相应的光电编码器。进一步，所述机械臂控制模块包括腰部电机、肩部电机、肘部电机以及对应的电机控制器和霍尔传感器，所述霍尔传感器与所述主控制器相连以获取相应电机的位置信息。进一步，所述机械爪控制模块包括舵机控制器及腕部舵机和手爪舵机，以控制所述机械臂腕部关节的运动及末端机械爪的开合。另一方面，本专利技术还公开了一种基于视觉伺服的采摘机器人控制方法，包括以下步骤：步骤一，采摘机器人进入采摘起始点，双目视觉模块开始判别全局视野中的果实成熟度并获得成熟果实的坐标值，并结合机械臂允许的作业范围确定机械臂的采摘作业空间进而确定第一个采摘停靠点；步骤二，在导航定位系统的指引下，主控制器控制底盘控制模块从而控制采摘机器人移动到采摘停靠点，然后标定出采摘作业空间内四角处采摘机器人能够采摘的最远成熟果实的采摘坐标；步骤三，根据采摘作业空间内四角处采摘机器人能够采摘的最远成熟果实的采摘坐标，主控制器控制机械臂依次到达四处采摘坐标附近，并在单目视觉模块指引下，主控制器控制采摘机器人的机械臂控制模块和机械爪控制模块开始采摘作业，直到该采摘作业空间内的成熟果实采摘结束；同时，双目视觉模块又开始判别全局视野中的果实成熟度，确定下一个采摘作业空间进而确定下一个采摘停靠点；步骤四，重复上述步骤二至步骤三，周而复始，直到采摘作业完成。进一步，采摘停靠点的确定步骤包括：首先，取双目视觉模块的双目相机的两镜头对称中心为所述双目相机的坐标系原点，取机械臂的基座底部中心为所述机械臂的坐标系原点；其次，由双目视觉模块检测得到视野内的成熟果实坐标，并根据所述双目相机的坐标系和所述机械臂的的坐标系的关系，确定成熟果实相对于所述机械臂的坐标系的x，y，z轴坐标；然后，取采摘机器人左右两侧离采摘机器人最近的两个果实的x轴坐标，并选择二者的最小值记为采摘作业空间在x轴方向上的坐标起始点，该x轴方向上的坐标起始点与所述机械臂的采摘作业空间长度的一半相加，即可获得采摘停靠点的x轴坐标；该x轴方向上的坐标起始点与所述机械臂的采摘作业空间长度相加记为采摘作业空间在x轴方向上的坐标终点，也是采摘机器人的下一个采摘作业空间在x轴方向上的坐标起始点，以此类推确定下一个采摘停靠点的x轴坐标；x轴方向指前后方向，y轴方向指左右方向，z轴方向指上下方向，默认采摘机器人在y轴方向的坐标始终保持不变，所述机械臂的采摘作业空间长度是所述机械臂在前后方向上允许的作业范围的尺寸。进一步，单目视觉模块中的单目相机位于机械臂的末端机械爪中心；将单目相机拍摄的原始图像传给单目视觉处理器，单目视觉处理器对原始图像进行预处理后选择最大连通域作为目标果实图像，并将目标果实图像中心与原始图像平面中心的横向偏差、纵向偏差以及面积偏差传送给主控制器；主控制器利用偏差计算出机械臂各关节的角速度并传送给机械臂的各关节电机控制器，从而控制机械臂运动以带动末端机械爪靠近目标果实；末端机械爪不断逼近果实的过程中，末端机械爪中心的光电开关感应到目标果实时，即末端机械爪与果实的距离到达预设阈值时，主控制器接收光电开关发送的信号并发送指令给机械爪控制模块，继而控制末端机械爪合拢完成果实采摘。该基于视觉伺服的采摘机器人控制系统及控制方法具有以下有益效果：（1）本专利技术中，双目相机和机械臂各自独立安装，可在较大视野内获得果实图像信息。（2）本专利技术中，单目相机安装在末端机械爪中心，利用基于图像的视觉伺服策略实现目标果实的跟踪和抓取，能够减少机械臂定位精度对采摘作业成功率的影响，同时较小的果实移位也不影响抓取工作。（3）本专利技术中，采用双目视觉模块获取标定果实坐标，继而控制机械臂到达果实附近，然后利用单目视觉伺服完成区域内后续采摘作业，保证采摘速度的同时，提高了采摘效率。附图说明图1：本专利技术实施方式中基于视觉伺服的采摘机器人控制系统的结构示意图；图2：本专利技术实施方式中采摘机器人的工作示意图；图3：本专利技术实施方式中采摘机器人的适用场景图；图4：本专利技术实施方式中基于视觉伺服的采摘机器人控制系统的工作流程图；图5：本专利技术实施方式中采摘机器人的作业位置确定原理图；图6：本专利技术实施方式中单目相机的视觉伺服流程图。附图标记说明：1—主控制器；2—底盘控制模块；21—底盘电机控制器；22—轮毂电机；本文档来自技高网...

【技术保护点】
1.一种基于视觉伺服的采摘机器人控制系统，其特征在于，包括主控制器，以及分别与所述主控制器连接的底盘控制模块、视觉模块、导航定位模块、机械臂控制模块和机械爪控制模块；所述视觉模块包括单目视觉模块和双目视觉模块，所述双目视觉模块为采摘机器人提供全局视野以确定采摘停靠点并辅助所述导航定位模块工作，所述单目视觉模块为采摘机器人提供采摘停靠点周围采摘作业空间内被采摘果实的位置。/n

【技术特征摘要】
1.一种基于视觉伺服的采摘机器人控制系统，其特征在于，包括主控制器，以及分别与所述主控制器连接的底盘控制模块、视觉模块、导航定位模块、机械臂控制模块和机械爪控制模块；所述视觉模块包括单目视觉模块和双目视觉模块，所述双目视觉模块为采摘机器人提供全局视野以确定采摘停靠点并辅助所述导航定位模块工作，所述单目视觉模块为采摘机器人提供采摘停靠点周围采摘作业空间内被采摘果实的位置。


2.根据权利要求1所述的基于视觉伺服的采摘机器人控制系统，其特征在于，所述双目视觉模块包含双目相机和双目视觉处理器，所述双目视觉处理器与所述主控制器连接并对所述双目相机传回的图像进行处理；所述单目视觉模块包括单目相机和单目视觉处理器，所述单目视觉处理器与所述主控制器连接并对所述单目相机传回的图像进行处理；所述双目相机安装在机械臂的基座正前方，所述单目相机安装在所述机械臂的末端机械爪的中心位置。


3.根据权利要求2所述的基于视觉伺服的采摘机器人控制系统，其特征在于，所述双目视觉处理器和所述单目视觉处理器采用同一个视觉处理器，所述视觉处理器为工控机。


4.根据权利要求1、2或3所述的基于视觉伺服的采摘机器人控制系统，其特征在于，所述导航定位模块包括激光雷达和陀螺仪，所述激光雷达和所述陀螺仪分别与所述双目视觉模块的双目视觉处理器连接。


5.根据权利要求1至4任一所述的基于视觉伺服的采摘机器人控制系统，其特征在于，还包括光电开关，所述光电开关安装在所述末端机械爪的中心位置且与所述主控制器连接。


6.根据权利要求1至5任一所述的基于视觉伺服的采摘机器人控制系统，其特征在于，所述底盘控制模块包括底盘电机控制器和轮毂电机，所述底盘电机控制器和轮毂电机各有两个且一一对应；所述轮毂电机配置有相应的光电编码器。


7.根据权利要求1至6任一所述的基于视觉伺服的采摘机器人控制系统，其特征在于，所述机械臂控制模块包括腰部电机、肩部电机、肘部电机以及对应的电机控制器和霍尔传感器，所述霍尔传感器与所述主控制器相连以获取相应电机的位置信息；所述机械爪控制模块包括舵机控制器及腕部舵机和手爪舵机，以控制所述机械臂腕部关节的运动及末端机械爪的开合。


8.一种基于视觉伺服的采摘机器人控制方法，其特征在于，包括以下步骤：
步骤一，采摘机器人进入采摘起始点，双目视觉模块开始判别全局视野中的果实成熟度并获得成熟果实的坐标值，同时结合机械臂允许的作业范围确定机械臂的第一个采摘作业空间进而确定第一个采摘停靠点；
步骤二，在导航定位系统的指引下，主控...

【专利技术属性】
技术研发人员：史颖刚，刘利，张炜，乔欣，杨田，方文虎，李凯，崔永杰，
申请(专利权)人：西北农林科技大学，
类型：发明
国别省市：陕西;61