The invention belongs to the field of robotics and computer vision technology, and a cooperative control method of two manipulators based on binocular vision includes the following steps: (1) installing binocular vision camera and two manipulators; (2) obtaining the relative position information of multi-objective object in the coordinate system of binocular vision camera; (3) realizing the cooperative design of two manipulators; (4) calculating the coordinate of target object in the coordinate system of two manipulators. Spatial position, (5) calculate the grasping attitude of the two manipulators, (6) complete the joint action of the two manipulators. The invention has the following advantages: firstly, compared with the traditional single manipulator grasping, the dual manipulator system has greater flexibility and can accomplish tasks that a single manipulator can not accomplish; secondly, the model of the two manipulators is established, which can effectively avoid the collision of the two manipulators; thirdly, when grasping objects, the method of reaching the pre-position first is adopted to avoid touching the target. Body.
【技术实现步骤摘要】
一种基于双目视觉的双机械臂协作控制方法
本专利技术涉及一种基于双目视觉的双机械臂协作控制方法,属于机器人学和计算机视觉
技术介绍
自1961年美国研制出第一台机器人以来,机器人技术历经五十多年的发展,已经取得了长足的进步。随着机器人的相关技术日益娴熟,机器人已经渗入到各行各业中,逐渐改变着人们的生产生活方式并为世界的工业发展贡献重要的力量。单个机器人在结构化场景的应用存在很大的局限性,己无法满足当前智能化的需求,而双臂协调系统具有负载能力强、工作效率高、工作空间大等优势,得到了国内外研究人员的广泛关注。但双臂的协调控制是相对困难的,双臂协调控制能力的高低决定了机器人智能化的程度。计算机视觉是在图像处理的基础上发展而来的新兴领域,是一门通过研究图像或视频观察周围世界的学科。立体视觉的基本原理是通过两个或者多个视点观察同一景物并获取不同视角下的图像,利用三角测量原理计算图像像素间的位置偏差以提取三维信息。
技术实现思路
针对现有技术中存在的不足,本专利技术目的是提供一种基于双目视觉的双机械臂协作控制方法。该方法是利用两个机械手臂组成一个双臂系统,双目视觉对环境进行感知,得到多个目标的三维空间位置,驱动双机械臂完成协作。为了实现上述专利技术目的,解决己有技术中存在的问题,本专利技术采取的技术方案是:一种基于双目视觉的双机械臂协作控制方法,包括以下步骤:步骤1、安装双目视觉相机和双机械臂,其中双目视觉相机自上而下垂直放置,要求双目视觉相机位置与识别区域的距离为0.8-20.0m,安装双机械臂,要求双机械臂底座中心相距为0.7-0.9m,且双机械臂中心与双目视 ...
【技术保护点】
1.一种基于双目视觉的双机械臂协作控制方法,其特征在于包括以下步骤:步骤1、安装双目视觉相机和双机械臂,其中双目视觉相机自上而下垂直放置,要求双目视觉相机位置与识别区域的距离为0.8‑20.0m,安装双机械臂,要求双机械臂底座中心相距为0.7‑0.9m,且双机械臂中心与双目视觉相机的中心位于同一平面,该平面垂直于水平面,便于标定;步骤2、获得多目标物体在双目视觉相机坐标系的相对位置信息,具体包括以下子步骤:(a)订阅双目视觉相机图像话题获得图像,在HSV色彩空间采用颜色特征分别识别一个用红色标识的水瓶和一个用绿色标识的水杯,取识别到的目标物体图像的中心点为测距点,该点的像素坐标为(u,v),与深度图像进行匹配获得该点的深度信息d;(b)获取目标物体在双目视觉相机坐标系中的三维空间位置,设目标物体在双目视觉相机坐标系中的三维空间位置为(X,Y,Z),目标点坐标(u,v)为三维坐标在成像平面的成像点,二者转换关系通过公式(1)进行描述,
【技术特征摘要】
1.一种基于双目视觉的双机械臂协作控制方法,其特征在于包括以下步骤:步骤1、安装双目视觉相机和双机械臂,其中双目视觉相机自上而下垂直放置,要求双目视觉相机位置与识别区域的距离为0.8-20.0m,安装双机械臂,要求双机械臂底座中心相距为0.7-0.9m,且双机械臂中心与双目视觉相机的中心位于同一平面,该平面垂直于水平面,便于标定;步骤2、获得多目标物体在双目视觉相机坐标系的相对位置信息,具体包括以下子步骤:(a)订阅双目视觉相机图像话题获得图像,在HSV色彩空间采用颜色特征分别识别一个用红色标识的水瓶和一个用绿色标识的水杯,取识别到的目标物体图像的中心点为测距点,该点的像素坐标为(u,v),与深度图像进行匹配获得该点的深度信息d;(b)获取目标物体在双目视觉相机坐标系中的三维空间位置,设目标物体在双目视觉相机坐标系中的三维空间位置为(X,Y,Z),目标点坐标(u,v)为三维坐标在成像平面的成像点,二者转换关系通过公式(1)进行描述,式中Zc表示子步骤(a)获得的深度信息d,f表示双目视觉相机摄像头焦距,dx表示每个像素在x轴上的物理尺寸,dy表示每个像素在y轴上的物理尺寸,最终获得目标物体在双目视觉相机坐标系的三维空间位置为(X,Y,Z);步骤3、双机械臂协作设计实现,具体包括以下子步骤:(a)构建双机械臂URDF模型,在两个机械臂底座中点位置建立三维原点坐标系,在各自的底座位置分别建立各自的根坐标系,在模型中建立原点坐标系与各自根坐标系的位置姿态关系,然后在各自的根坐标系下按照单机械臂模型建立各关节与根坐标的关系;(b)双机械臂联合驱动,在驱动文件中首先加载双机械臂模型,再分为两个group,一个为左机械臂,另一个为右机械臂,在各自的group中加载各自驱动程序,并运行robot_state_publish和joint_state_publish节点,将各自机械臂模型和关节信息发布出去,并在Rviz人机交互平台显示,由于两个机械臂各关节名称不同,就可向不同的...
【专利技术属性】
技术研发人员:王东,朱理,王振宇,连捷,郝运凯,刘斌祺,王超,
申请(专利权)人:大连理工大学,
类型:发明
国别省市:辽宁,21
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。