基于Leap Motion与机器视觉的人机协作采摘机器人及其控制方法技术

本发明专利技术公开了基于Leap Motion与机器视觉的人机协作采摘机器人及其控制方法，包括行走机构、采摘机械臂，所述行走机构上固定安装有电源、采摘收集筐和机器人控制器，所述采摘机械臂设置在行走机构上，所述采摘机械臂上设置有采摘机械手，还包括远程操控系统，所述远程操控系统包括电脑和Leap Motion体感传感器，所述Leap Motion体感传感器与电脑通讯连接，所述电脑与机器人控制器通讯连接；所述采摘机械手上设置有相机，所述相机与机器人控制器通讯连接，所述相机和机器人控制器均与电源电连接。本发明专利技术能够利用人优秀的视觉系统从复杂背景环境下辨认采摘对象，并通过非接触式体感传感器远程控制采摘机器人运动对果实进行采摘。

Man-Machine Collaborative Picking Robot Based on Leap Motion and Machine Vision and Its Control Method

The invention discloses a man-machine cooperative picking robot based on Leap Motion and machine vision and its control method, including a walking mechanism and a picking manipulator. The walking mechanism is fixedly equipped with a power supply, a picking basket and a robot controller. The picking manipulator is arranged on the walking mechanism, and the picking manipulator is equipped with a picking manipulator and a remote control system. In general, the remote control system includes a computer and a Leap Motion somatosensory sensor, the Leap Motion somatosensory sensor communicates with a computer, the computer communicates with a robot controller, and the picking manipulator is equipped with a camera, the camera communicates with a robot controller, and both the camera and the robot controller are electrically connected with a power supply. The invention can identify picking objects from complex background environment by using excellent human visual system, and remotely control the movement of picking robot by non-contact somatosensory sensor for fruit picking.

【技术实现步骤摘要】
基于LeapMotion与机器视觉的人机协作采摘机器人及其控制方法
本专利技术涉及现代农业设备
，尤其涉及基于LeapMotion与机器视觉的人机协作采摘机器人及其控制方法。
技术介绍
水果种植产业中，水果采摘收获大约占到整个产业工作量的50％，由于水果采摘过程中的复杂性，所以大部分水果产业区在水果采摘时依然以手工作业为主；对于某些种类的水果已经部分实现机械化采收作业，但是自动化水平仍然较低。智能化果实采摘是结合智能化和自动化技术实现果实的智能化采摘，从而降低人工劳动量，提高作业效率，其中果实的识别和定位主要以机器视觉技术为主。在智能化果实采摘
，申请号为CN201710857174.3的专利申请文件公开了一种基于机器视觉的智能水果采摘机器人，其包括行走机构、采摘机械手、视觉系统、控制系统、电源系统，控制系统分别与行走机构、采摘机械手、视觉系统、电源系统连接，控制系统、电源系统与行走机构固定连接，采摘机械手为四自由度关节型机械手且通过底座与行走机构固定连接，视觉系统的视觉传感器固定设置于采摘机械手的腕部上方，视觉系统的视觉控制模块与控制系统集成一体并与视觉传感器信号连接，视觉控制模块用于基于图像分割的全卷积网络图像处理技术对视觉传感器传送来的图像进行采摘目标定位识别，视觉控制模块将采摘目标定位信息传给控制系统，控制系统控制行走机构移动和/或机械手摘取水果并放入水果收集装置。上述专利根据视觉系统的水果定位信息，自动控制行走机构调整位置及采摘机械手的采摘，虽然实现了水果的智能化采摘，但是还存在以下问题：由于果树上果实生长的随机性和复杂性，即果实可能单个结果，也可能成簇结果，根据上述专利的机器视觉识别算法还难以区分在叶片遮挡果实、枝条遮挡果实、以及果实间相互遮挡或重叠等复杂背景下的果实。
技术实现思路
有鉴于此，本专利技术的目的是提供基于LeapMotion与机器视觉的人机协作采摘机器人及其控制方法，能够利用人优秀的视觉系统从复杂背景环境下辨认采摘对象，并通过非接触式体感传感器远程控制采摘机器人运动对果实进行采摘。本专利技术通过以下技术手段解决上述技术问题：基于LeapMotion与机器视觉的人机协作采摘机器人，包括行走机构、采摘机械臂，所述行走机构上固定安装有电源、采摘收集筐和机器人控制器，所述采摘机械臂设置在行走机构上，所述采摘机械臂上设置有采摘机械手，其中还包括远程操控系统，所述远程操控系统包括电脑和LeapMotion体感传感器，所述LeapMotion体感传感器与电脑通讯连接，所述电脑与机器人控制器通讯连接；所述采摘机械手上设置有相机，所述相机与机器人控制器通讯连接，所述相机和机器人控制器均与电源电连接。通过LeapMotion体感传感器对手掌坐标信息、手部俯仰角信息、手侧倾角信息、点击手势、水平滑动手势、点击屏幕手势等信息进行采集，手掌坐标信息是在LeapMotion体感传感器下的坐标系，根据采摘机械臂的运动范围，通过比例放大的方法进行两个坐标系的转换，将手掌在LeapMotion体感传感器上的坐标转化为在机器人采摘机械手夹持中点在采摘机械臂平台上的坐标，通过采摘机械臂逆运动学求解出采摘机械臂的旋转角度。根据手俯仰角等值相应控制采摘机械手的转角，根据手侧倾角信息等值相应控制采摘机械手的转角。点击手势控制采摘和卸果一体化作业，水平滑动手势控制平台车向前运动，以调整相机视野种的果实数量和位置，点击屏幕手势控制LeapMotion体感传感器开始采集手掌坐标信息，并开启采摘机械臂控制。进一步，所述采摘机械臂包括旋转平台、大臂和小臂，所述旋转平台上固定连接有肩关节电机，所述肩关节电机与大臂的铰接相连，所述小臂上固定连接有肘关节电机，所述大臂远离旋转平台的一端与肘关节电机铰接相连，所述肩关节电机和肘关节电机均与机器人控制器电连接。旋转平台可以使得采摘机械臂围绕行走机构旋转，大臂、小臂、肩关节电机以及肘关节电机的设置，可以使得采摘机械臂对采摘机械手进行高低和远近距离的调节，扩大采摘机械手的采摘作业范围。进一步，所述旋转平台包括基座上板和基座下板，所述基座下板固定连接在行走机构上，所述基座上板与基座下板之间固定连接有支撑柱，所述基座下板上固定安装有转动电机，所述基座上板上转动连接有转动平台，所述转动电机的输出轴穿过基座上板与转动平台固定连接，所述转动电机的输出轴与基座上板滑动连接，所述肩关节电机固定安装在转动平台上，所述转动电机与机器人控制器电连接。基座上板、基座下板和支撑柱用于支撑采摘机械臂，转动电机用于带动转动平台进行转动，进而带动采摘机械臂进行360°的旋转。进一步，所述采摘机械手包括安装支架，所述小臂远离大臂的一端固定连接有腕关节电机，所述安装支架的一侧固定连接有腕连接板，所述安装支架的另一侧固定连接有夹持机械手，所述腕连接板与腕关节电机铰接相连；所述安装支架上固定连接有相机安装板，所述相机安装在相机安装板上，所述腕关节电机与机器人控制器电连接。在采摘时，夹持机械手用于夹持水果，腕关节电机可以进一步的调整夹持机械手与果实之间的位置。进一步，所述腕连接板上固定安装有腕转动电机，所述腕转动电机的输出轴与安装支架固定连接，所述腕转动电机与机器人控制器电连接。通过腕转动电机的设置，可以使得采摘机械手进行旋转倾斜，如此，就可以适用不同角度的水果采摘。进一步，所述夹持机械手上方的安装支架上固定安装有切割电机，切割电机的输出轴固定连接有连接块，所述连接块位于切割电机与夹持机械手之间，所述连接块上固定有切割刀，所述切割电机与机器人控制器电连接。在采摘如柑橘类的水果时，一般是通过切断果实的果梗的方式进行采摘，本专利技术在夹持机械手上方设置切割电机，切割电机带动切割刀的旋转，进而将果梗进行切断，因此，本专利技术可以适应采摘更多品种的水果。进一步，所述夹持机械手包括连杆、第一夹爪和第二夹爪，所述连杆固定连接在安装支架上，所述第一夹爪和第二夹爪均滑动连接在连杆上，所述连杆上固定连接有机械手驱动电机，所述机械手驱动电机与机器人控制器电连接。在夹持和卸果时，机械手驱动电机带动连杆运动，连杆带动第一夹爪和第二夹爪在连杆上左右运动，进而控制夹持机械手的打开和关闭。进一步，所述相机安装板上设有环形滑槽和环形安装孔，所述相机上固定有相机固定板，所述相机固定板与环形滑槽和环形安装孔之间连接有紧固螺钉。在使用时，松开紧固螺钉，可使相机绕环形中心孔旋转，从而可调整相机在地面的视野。进一步，所述行走机构为履带式作业平台车。行走机构采用履带式的作业平台车，使得机器人在山区、丘陵等凹凸不平的复杂地况下的作业能力大大提高。所述采摘机器人的控制方法，包括以下步骤，S1、相机对果树图片进行实时采集并对果实进行识别和处理，LeapMotion体感传感器识别手掌手势进行履带式作业平台车位置调节；S2、电脑对LeapMotion体感传感器上手掌坐标和手掌手势信息进行采集，通过机械臂逆运动学求解出采摘机械臂转动电机、肩关节电机、肘关节电机、腕关节电机、腕转动电机的旋转角度；S3、采摘机械臂运动，相机对当前视野果实进行模板匹配，采摘机械手的夹持中心点坐标与果实中心点坐标重合，采摘机械手对果实进行采摘；S4、采摘机械臂控制采摘机械手从当前摘果位置运动到采摘收集筐位置本文档来自技高网...

【技术保护点】
1.基于Leap Motion与机器视觉的人机协作采摘机器人，包括行走机构、采摘机械臂，所述行走机构上安装有电源、采摘收集筐和机器人控制器，所述采摘机械臂设置在行走机构上，所述采摘机械臂上设置有采摘机械手，其特征在于：还包括远程操控系统，所述远程操控系统包括电脑和Leap Motion体感传感器，所述Leap Motion体感传感器与电脑通讯连接，所述电脑与机器人控制器通讯连接；所述采摘机械手上设置有相机，所述相机与机器人控制器通讯连接，所述相机和机器人控制器均与电源电连接。

【技术特征摘要】
1.基于LeapMotion与机器视觉的人机协作采摘机器人，包括行走机构、采摘机械臂，所述行走机构上安装有电源、采摘收集筐和机器人控制器，所述采摘机械臂设置在行走机构上，所述采摘机械臂上设置有采摘机械手，其特征在于：还包括远程操控系统，所述远程操控系统包括电脑和LeapMotion体感传感器，所述LeapMotion体感传感器与电脑通讯连接，所述电脑与机器人控制器通讯连接；所述采摘机械手上设置有相机，所述相机与机器人控制器通讯连接，所述相机和机器人控制器均与电源电连接。2.根据权利要求1所述的基于LeapMotion与机器视觉的人机协作采摘机器人，其特征在于：所述采摘机械臂包括旋转平台、大臂和小臂，所述旋转平台上固定连接有肩关节电机，所述肩关节电机与大臂铰接，所述小臂上固定连接有肘关节电机，所述大臂远离旋转平台的一端与肘关节电机铰接，所述肩关节电机和肘关节电机均与机器人控制器电连接。3.根据权利要求2所述的基于LeapMotion与机器视觉的人机协作采摘机器人，其特征在于：所述旋转平台包括基座上板和基座下板，所述基座下板固定连接在行走机构上，所述基座上板与基座下板之间连接有支撑柱，所述基座下板上安装有转动电机，所述基座上板上转动连接有转动平台，所述转动电机的输出轴穿过基座上板与转动平台固定连接，所述转动电机的输出轴与基座上板滑动连接，所述肩关节电机固定安装在转动平台上，所述转动电机与机器人控制器电连接。4.根据权利要求3所述的基于LeapMotion与机器视觉的人机协作采摘机器人，其特征在于：所述采摘机械手包括安装支架，所述小臂远离大臂的一端固定连接有腕关节电机，所述安装支架的一侧固定连接有腕连接板，所述安装支架的另一侧固定连接有夹持机械手，所述腕连接板与腕关节电机铰接相连；所述安装支架上固定连接有相机安装板，所述相机安装在相机安装板上，所述腕关节电机与机器人控制器电连接。5.根据权利要求4所述的基于LeapMotion与机器视觉的人机协...

【专利技术属性】
技术研发人员：陈子文，杨云帆，姚雄，兰天宇，唐山林，逍遥，
申请(专利权)人：西南大学，
类型：发明
国别省市：重庆,50