一种采摘机械臂抓取运动规划方法技术

本发明专利技术提出一种采摘机械臂抓取运动规划方法。本发明专利技术通过对机械臂的工作空间进行划分，定义预采摘平面把整个采摘规划过程分为离线规划和在线规划两个部分，离线规划部分基于强化学习算法PPO算法进行训练。首先基于广视角进行初识别获取果实的位置，根据果实的位置投影到预采摘平面，得到果实预采摘点的位置，通过强化学习输出到达每个预采摘点的轨迹。然后我们对离线规划部分和在线规划部分进行建模，建模成旅行商问题，规划最优采摘顺序。最后机械臂按照规划的采摘顺序依次到达预采摘点以近视角识别果实果梗完成采摘。机械臂采用离线规划和规划采摘顺序能够显著提高采摘机器人的成功率和采摘效率。人的成功率和采摘效率。人的成功率和采摘效率。

【技术实现步骤摘要】
一种采摘机械臂抓取运动规划方法


[0001]本专利技术属于机器人农业采摘领域，尤其涉及一种采摘机械臂抓取运动规划方法，适用于植物工厂或植物大棚中甜椒果实的自动化采摘。

技术介绍

[0002]随着中国人口老龄化进程加速，人口红利逐渐消失，导致劳动力成本上升，在新型工业化、城镇化和农业现代化背景下，农村人口外流，导致劳动力锐减。我国是农业大国，每年在果蔬番茄、甜椒、苹果、柑橘等成熟的季节需要大量的劳动力进行采摘，工人们经常需要顶着烈日进行果蔬采摘，劳动强度大、采摘效率低。为了降低收获成本，提高收获效率，因此非常有必要发展智慧农业，研发具有自主感知和精确抓取能力的果蔬采摘机器人。随着机器视觉，传感器，机器人等技术的不断的发展，越来越多的智能果蔬采摘机器人代替人类完成果蔬采摘任务，但是果蔬采摘机器人的设计仍然面临着很多亟待解决的难题。
[0003]首先第一点是视觉系统的识别不够精确。视觉系统就好比人的眼睛，只有看得准，才能够抓得准。农业采摘环境是一个非结构化的环境，采摘环境中由于枝叶遮挡和光照变化等因素的存在，会对果实果梗的识别精度产生很大的影响。此外，识别过程中果实果梗与果实相比较细，难以精准识别，因此提高识别算法的鲁棒性和精准性是非常有必要的。
[0004]第二点是采摘机器人的采摘效率低、系统不可靠。用于农业场景的采摘机器人，果实采摘过程中使用的是六自由度工业机械臂进行采摘，希望机械臂快速且高效按照某一特定姿态到达果实果梗的采摘点，进行果实采摘。机械臂的工作空间分为灵活工作空间和非灵活工作空间，灵活工作空间是能够以任意姿态到达的工作空间，非灵活工作空间下机械臂采摘过程中由于姿态的限制，导致机械臂常常会出现无解或者有解但是机械臂的运动会出现大幅度的变化，不能按照期望的路径去进行果实的采摘。这些会导致采摘机器人出现效率低，系统不可靠(成功率低)等问题，最终导致农民拒绝使用这些采摘机器人。因此在移动采摘领域如何确保采摘机器人快速可靠和高效地进行采摘的需求仍然很大，迫切需要开展研究。

技术实现思路

[0005]为了克服采摘环境中遮挡、光照和果梗较细对果实果梗识别准确度的影响和解决采摘机器人效率低和系统不可靠的问题。本发提供一种采摘机械臂抓取运动规划方法。
[0006]本专利技术的具体技术方案为：
[0007]一种采摘机械臂抓取运动规划方法，包括步骤如下：
[0008]步骤1，广视角下采用双目相机1对采摘环境进行感知，对果实进行初识别，识别出果实的个数和相机坐标系下每个果实的三维坐标，得到初始采摘点；
[0009]步骤2，机械臂与目标果实之间定义预采摘平面，将步骤1得到的初始采摘点投影到预采摘平面，得到预采摘点；
[0010]步骤3，根据离线规划得到机械臂从起始位置到每一个预采摘点的轨迹；结合离线
规划的轨迹和在线规划对当前视角下要采摘的果实进行建模，规划机械臂依次到达预采摘点的最优采摘顺序；机械臂先到达规划采摘顺序后的一个预采摘点，然后近视角下通过双目相机2进行二次识别得到对应的目标采摘点，再通过在线规划进行采摘，采摘完成后回到预采摘点，然后根据规划的采摘顺序到达下一个预采摘点；
[0011]步骤4，机械臂重复步骤3，直到步骤2预采摘平面内所有预采摘点遍历后，回到机械臂的初始位置。
[0012]进一步地，步骤1所述的果实初识别采用yolov。
[0013]进一步地，步骤2预采摘平面的设定具体为：如图10所示，机械臂的工作空间是半径为Rcm的球体，预采摘平面到果实的位置为10
‑
15cm，预采摘平面到机械臂基坐标系的距离为(R
‑
15,R
‑
10)，预采摘平面长为Rcm，宽为0.75Rcm。箭头表示机械臂到达预采摘平面的位置和姿态。本专利技术中预采摘平面的大小设置可以根据需求进行调整，此所引申出的显而易见的变化或变动仍处于本专利技术创造的保护范围之中。
[0014]进一步地，步骤3，所述离线规划为采用强化学习算法进行训练，输出到达每个预采摘点的轨迹。
[0015]进一步地，步骤3，所述强化学习算法为PPO算法。
[0016]进一步地，步骤3，对机械臂的整个采摘过程，离线规划和在线规划进行进行建模，规划机械臂依次到达预采摘点的采摘顺序，构建能量成本函数，以机械臂的关节角度变化之和最小作为优化指标；建模成旅行商问题进行求解，规划到达预采摘点的顺序，即机械臂的最优采摘顺序。
[0017]进一步地，步骤3，所述的二次识别具体方法为，到达预采摘点后近视角下采用双目相机2进行果实的果梗识别，首先使用yolov识别果实，获取果梗的感兴趣区域。
[0018]进一步地，针对所述的感兴趣区域使用轻量型实例分割网络yolact，获取果实果梗的位置，得到目标采摘点。解决了识别过程中果实果梗与果实相比较细，难以精准识别以及采摘环境中由于枝叶的遮挡，光照变化较大的影响，
[0019]进一步地，步骤3，所述在线规划具体为采用ROS机器人操作系统中的moveit框架控制机械臂进行采摘，在线规划过程中采用双向RRT进行机械臂的路径规划，采用仿生优化BioIK(Biologically Inspired Optimization inverse kinematics)算法进行机械臂的逆解求取。
[0020]为了解决采摘机器人的效率低，系统不可靠(成功率低)的问题，对机械臂的工作空间进行划分，定义预采摘平面把整个采摘规划过程分为离线规划和在线规划两个部分，离线规划部分基于强化学习算法中的近端策略优化PPO(Proximal Policy Optimization)算法进行训练。基于yolov采用双目视觉相机1以广视角进行初识别获取甜椒果实的位置，根据甜椒果实的位置投影到预采摘平面，得到甜椒果实预采摘点的位置，通过强化学习输出到达每个预采摘点的轨迹。采摘过程中分为以下步骤：首先机械臂需要先到达预采摘点，然后进行二次识别和在线规划进行采摘，采摘完成后回到预采摘点，然后到达下一预采摘点。重复这个过程直到当前视角下果实采摘完，最后回到初始位置。采摘过程中在线规划和离线规划的示意图如图7所示。
[0021]机械臂的在线规划过程是机械臂到达预采摘平面上的点后开始计算的，过程如下：机械臂从预采摘点出发，到达目标采摘点进行采摘，然后回到预采摘点。把机械臂在线
规划过程中各关节角度变化之和作为机械臂消耗的能量，各关节角度变化之和越小，能量成本越小。通过图7示意图可以看出，机械臂在线规划过程中完成当前视角全部果实的采摘，所消耗的能量可以看成常数。
[0022]离线规划阶段过程是机械臂从出发点依次遍历所有预采摘点，然后回到初始位置的过程。在离线规划阶段，机械臂经过预采摘点顺序不一样，机械臂消耗的能量成本是不一样的。为了减少机械臂采摘过程的能量成本的消耗，提高机械臂的采摘效率，对离线规划部分和在线规划部分进行建模，建模成旅行商问题，规划最优采摘顺序。
[0023]由于采摘过程中机械臂在线规划消耗的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种采摘机械臂抓取运动规划方法，其特征在于，包括步骤如下：步骤1，广视角下采用双目相机1对采摘环境进行感知，对果实进行初识别，识别出果实的个数和相机坐标系下每个果实的三维坐标，得到初始采摘点；步骤2，机械臂与目标果实之间定义预采摘平面，将步骤1得到的初始采摘点投影到预采摘平面，得到预采摘点；步骤3，根据离线规划得到机械臂从起始位置到每一个预采摘点的轨迹；结合离线规划的轨迹和在线规划对当前视角下要采摘的果实进行建模，规划机械臂依次到达预采摘点的最优采摘顺序；机械臂先到达规划采摘顺序后的一个预采摘点，然后近视角下通过双目相机2进行二次识别得到对应的目标采摘点，再通过在线规划进行采摘，采摘完成后回到预采摘点，然后根据规划的采摘顺序到达下一个预采摘点；步骤4，机械臂重复步骤3，直到步骤2预采摘平面内所有预采摘点遍历后，回到机械臂的初始位置。2.根据权利要求1所述的采摘机械臂抓取运动规划方法，其特征在于，步骤1所述的采用双目视觉相机以广视角进行果实初识别，识别方法采用yolov。3.根据权利要求1采摘机械臂抓取运动规划方法，其特征在于，步骤2预采摘平面的设定方法具体为：机械臂的工作空间是半径为R cm的球体，预采摘平面到果实的位置为10～15cm，预采摘平面到机械臂基坐标系的距离为(R
‑
15,R
‑
10)，预采摘平面长为Rcm，宽为0.75Rcm。4.根据权利要求1所述的采摘机械臂抓取运动规划方法，其特征在于，步骤3，所述离线规划为采用强化学习算法进行训练，输出到达每个预采摘点的轨迹。5.根据权利要求4所述的采摘机械臂抓...

【专利技术属性】
技术研发人员：王东，潘青慧，连捷，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：