一种基于移动机械臂整体控制的动态目标跟踪抓取方法技术

技术编号:33208358 阅读:58 留言:0更新日期:2022-04-24 00:59
本发明专利技术公开了一种基于移动机械臂整体控制的动态目标跟踪抓取方法,属于机器人技术领域,包括步骤S1:标注带作业目标的数据集;S2:使用标注的数据集进行模型训练,产生目标检测模型;S3:使用训练后的目标检测模型,输入单目图像进行目标检测,框选目标,计算目标空间坐标和中心点区域深度;S4:对机械臂和运动底盘建立运动学模型,求解机械臂和运动底盘的雅克比矩阵;S5:采用视觉伺服技术对目标物体进行动态跟踪,并预测其运动轨迹;S6:将目标预测的运动目标发送给移动机械臂系统,求解移动机械臂各个关节的运动控制量,并采用PID算法对移动机械臂系统进行闭环运动控制。本发明专利技术使机械臂准确、灵活地对动态目标进行跟踪抓取。灵活地对动态目标进行跟踪抓取。灵活地对动态目标进行跟踪抓取。

【技术实现步骤摘要】
一种基于移动机械臂整体控制的动态目标跟踪抓取方法


[0001]本专利技术涉及机器人
,具体涉及一种基于移动机械臂整体控制的动态目标跟踪抓取方法。

技术介绍

[0002]目前传统的机械臂控制技术以及移动底盘技术经过几十年的发展均相对成熟和完善,并被广泛应用在工作生产中。目前常用的移动作业机器人技术常采用机械臂与移动平台单独控制的分系统控制模式,其基本的作业模式为由移动底盘运动到作业区域后再由机械臂根据作业目标规划作业路径并完成操作任务,最后由移动底盘返回。而具有移动作业能力的移动作业机器人区别于传统的作业机械臂的最大特点就是其具有灵活的移动能力,可显著的提升作业机械臂的作业范围和作业对象。因此,移动作业机器人在作业过程中需要同时考虑移动底盘和机械臂的运动情况,需要根据作业任务和作业环境对移动底盘和机械臂进行整体运动控制才能最大的激发其系统的优势。
[0003]传统的机械臂控制技术主要针对于具有固定基座的固定基机械臂系统,而针对具有移动功能的移动机械臂的相关研究还未成熟。而传统的移动平台控制技术也仅针对移动平台而设计,仅用于完成移动底本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于移动机械臂整体控制的动态目标跟踪抓取方法,其特征在于,包括以下步骤:S1:根据作业任务要求,按IMAGENET数据集标注带作业目标的数据集;S2:使用标注的数据集进行模型训练,产生目标检测模型;S3:使用训练后的目标检测模型,输入单目图像进行目标检测,框选目标,计算目标空间坐标和中心点区域深度;S4:对机械臂和运动底盘建立运动学模型,求解机械臂和运动底盘的雅克比矩阵,并联合构建移动机械臂系统的整体雅克比矩阵S5:采用视觉伺服技术对目标物体进行动态跟踪,并预测其运动轨迹;S6:将目标预测的运动目标发送给移动机械臂系统,求解移动机械臂各个关节的运动控制量,并采用PID算法对移动机械臂系统进行闭环运动控制。2.如权利要求1所述的基于移动机械臂整体控制的动态目标跟踪抓取方法,其特征在于,所述步骤S3具体包括以下步骤:S301:通过RGB

D相机采集图像信息,并输入到目标检测模型中,根据作业目标进行目标检测和位置确定,并将检测的目标和图像位置信息发送给步骤S302进行目标空间位置确定;S302:基于步骤S2中确定的作业目标图像位置信息,在对应的深度图中筛选目标物体的深度信息,并通过相机成像模型求解作业目标物体在相机坐标系下的空间位置信息,并输入给步骤S5进行作业目标物体的运动轨迹预测。3.如权利要求1所述的基于移动机械臂整体控制的动态目标跟踪抓取方法,其特征在于,所述步骤S4具体包括以下步骤:S401:在移动底盘转动中心、机械臂底座、末端手爪中心和RGB

D相机光心分别建立参考坐标系{B}、{M}、{E}和{C};S402:基于步骤S401建立的坐标系,根据旋量理论,在机械臂初始状态下,求解末端手爪的位姿矩阵M,同时,根据机械臂的结构参数,列出机械臂各个关节在末端手爪坐标系{E}下的物体运动旋量信息ζ
em
,并求解机械臂坐标系在末端手爪坐标系{E}下的齐次变换矩阵,从而求解机械臂的雅克比矩阵J
m
(θ);S403:根据移动底盘与机械臂的位置信息,列出机械臂在移动底盘坐标系{B}的位姿矩阵T
bm
,并列出底盘各驱动关节在末端手爪坐标系{E}下的物体运动旋量信息ζ
eb
,同时,根据步骤S402建立的机械臂在末端手爪坐标系{E}下齐次变化矩阵,求解出移动底盘在末端手爪坐标系{E}下的齐次变换矩阵,从而求解出移动底盘的雅克比矩阵S404:联合构建移动机械臂系统的整体雅克比矩阵S404:联合构建移动机械臂系统的整体雅克比矩阵其中,为移动底盘的雅克比矩阵,J
m
(θ)为机械臂的雅克比矩阵;S405:根据系统反馈的系统各个关节状态信息,基于步骤S404求解的移动机械臂系统的整体雅克...

【专利技术属性】
技术研发人员:周怀东冯蓬勃丑武胜李维娟余俊豪
申请(专利权)人:北航歌尔潍坊智能机器人有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1