一种基于多帧融合的果蔬采摘机器人及其控制方法技术

本发明专利技术提供了一种基于多帧融合的果蔬采摘机器人及其控制方法，包括如下步骤：基于获取RGBD数据，采用vSLAM构建具有实际尺度的局部地图，并获取当前帧时刻深度摄像头在局部地图中的空间位姿；基于已知的位置信息计算深度摄像头与机械臂末端的相对位置，对其外参进行标定；在机械臂移动过程中，重复上述步骤，对深度摄像头的外参进行动态标定；基于机械臂移动过程中采集到的多帧3D视觉数据，用BA构建图优化模型，通过优化综合计算出目标的空间点云。本发明专利技术通过动态外参标定，简化了部署过程，解决了过程中外参变动不能及时更改的问题；通过多帧融合提高了测量的精度，减少了空间感知的误差。误差。误差。

【技术实现步骤摘要】
一种基于多帧融合的果蔬采摘机器人及其控制方法


[0001]本专利技术涉及智能农业机器人
，具体而言，涉及一种基于多帧融合的果蔬采摘机器人及其控制方法。

技术介绍

[0002]目前包括中国在内的许多国家均面临着人口老龄化，劳动力稀缺难题。从事农业的劳动力缺乏问题尤为突出。农业机器人能够逐步代替人力而且不断帮助农业生产降低劳动强度，提高劳动效率，因此越来越受到农业人口较少的发达国家的重视，也成为国际农业装备产业技术竞争的焦点之一。
[0003]在众多农业工作中果蔬的采摘是其中劳动力最为密集的工作。鲜食的果蔬对外皮的完整性有着较强的要求，目前只能使用人工逐个采摘。随着AI时代的到来，21世纪深度学习算法的提出使得视觉感知算法取得了长足的进步，这也加速了机器人的发展，国内外分别出现了带有视觉感知算法的果蔬采摘的机器人。其基本的思路为通过立体视觉传感器(双目、结构光、TOF)等获取目标的单帧数据，以识别并定位果蔬在摄像头坐标系中的3D位置，并通过机械臂带动机械手进行采摘。但在此过程中由于光照条件多变、采摘对象遮挡、采摘对象形态多样、采摘对象本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多帧融合的果蔬采摘机器人控制方法，其特征在于，包括如下步骤：S1.通过深度摄像头获取RGBD数据，基于所述RGBD数据，采用vSLAM构建一个具有实际尺度的局部地图，并获取当前帧时刻深度摄像头在该局部地图中的空间位姿；S2.基于已知的位置信息计算深度摄像头与机械臂末端的相对位置，从而对深度摄像头的外参进行标定，所述已知的位置信息包括：机械臂末端在机器人基坐标系的空间位姿、局部地图在机器人基坐标系中表示的空间位姿以及当前帧时刻深度摄像头在局部地图中的空间位姿；S3.在机械臂移动过程中，重复执行步骤S1至步骤S2，对深度摄像头的外参进行动态标定，直至采摘目标成功；S4.基于机械臂移动过程中采集到的多帧3D视觉数据，用BA构建图优化模型，其中目标点的3D位置为图优化模型中的一个顶点，通过优化顶点综合计算出目标的空间点云。2.如权利要求1所述的基于多帧融合的果蔬采摘机器人控制方法，其特征在于，步骤S2具体包括：获取深度摄像头第i帧时刻在局部地图中的位置由于机器人基坐标相对于局部地图的坐标固定不变，根据空间变换的链式法则得到如下公式：图的坐标固定不变，根据空间变换的链式法则得到如下公式：上式中，T为欧式空间的位姿，其具体形式采用4*4的齐次矩阵表达；为第i帧时刻机械臂末端在机器人基坐标系的空间位姿；为深度摄像头在机械臂末端坐标系中表示的空间位姿；为局部地图在机器人基坐标系中表示的空间位姿；为第i帧时刻深度摄像头在局部地图中的空间位姿；上述两公式联立消除得到如下公式：上式中，inv(
·
)表示对齐次矩阵求逆的运算过程；为第i+1帧时刻机械臂末端在机器人基坐标系的空间位姿；为第i+1帧时刻深度摄像头在局部地图中的空间位姿；采用最小二乘法求解得到3.如权利要求2所述的基于多帧融合的果蔬采摘机器人控制方法，其特征在于，步骤S3具体包括：在机械臂移动过程中，重复执行步骤S1至步骤S2，通过多帧的测量得到多个等式，采用最小二乘法求解得到以此实现外参的动态标定。...

【专利技术属性】
技术研发人员：陈启明，郑鑫，谌文亲，陈鑫华，过浩星，
申请(专利权)人：成都朴为科技有限公司，
类型：发明
国别省市：