基于视觉伺服的机械臂目标导引系统、方法技术方案

本发明专利技术属于视觉伺服领域，具体涉及一种基于视觉伺服的机械臂目标导引系统、方法，旨在解决视觉伺服中目标成像存在遮挡、脱离视野的问题。本系统方法包括获取机械臂本体与被抓取目标的标志物图像，提取特征点，计算标志物之间的相对位姿；基于相对位姿，使用度量函数获取pan‑tilt相机平台最佳观测位置；基于pan‑tilt相机平台的水平和垂直视野区域约束，将小车移动至最佳观测位置；基于pan‑tilt相机平台的相机的水平和垂直视野区域约束，以及相对位姿，控制机械臂本体的功能部位向目标物体移动。本发明专利技术能够避免传统的视觉伺服中出现的目标成像被遮挡、大小不合适、目标脱离相机视野等情况。

Robot Target Guidance System and Method Based on Visual Servo

【技术实现步骤摘要】
基于视觉伺服的机械臂目标导引系统、方法
本专利技术属于视觉伺服领域，具体涉及一种基于视觉伺服的机械臂目标导引系统、方法。
技术介绍
随着机器人技术的发展，机器人在感知、思维、效应方面逐渐发展成全面模拟人的机器系统，承担着越来越复杂和多样性的任务。传统的机器人在感知、识别、推理、规划等方面功能比较单一，有较强的局限性，只适应于特定环境下的特定作业。视觉伺服控制系统充分利用计算机技术和图像处理技术的发展，基于视觉信息进行反馈，经视觉信号处理后，能更精确、灵活、自主地对机器人进行控制，从而具有非特定环境下的作业能力。视觉伺服控制在技术上包括基于图像的、基于位置的、基于2.5D的视觉伺服控制方法，另外还有无标定视觉伺服控制等；在结构上包括Eye-in-Hand方式和Eye-to-Hand方式等。Eye-in-Hand相机安装在机械臂上，随机器人一起运动，缺陷是：目标的成像有时会在图像边缘甚至脱离视野，存在遮挡问题，尤其在靠近目标时目标的成像大小有时不合理，过大或者过小。Eye-to-Hand一般是相机固定在工作空间内，同时观测目标和机器人，缺点是感知空间范围固定，也存在目标特征遮挡现象。针对Eye-in-Hand方式和Eye-to-Hand方式的缺陷，本专利技术设计了一种新型的视觉伺服配置Eye-in-Vehicle。该系统由移动机器人和机械臂系统两部分构成。
技术实现思路
为了解决现有技术中的上述问题，即为了解决视觉伺服中目标成像存在遮挡、脱离视野的问题，本专利技术第一方面，提出了一种基于视觉伺服的机械臂目标导引系统，该导引系统包括移动机器人和机械臂系统；所述移动机器人包括pan-tilt相机平台、一个差动式移动小车；所述机械臂系统包括机械臂本体、机械臂控制系统；所述机械臂本体可移动一端的端部设置有标志物；所述pan-tilt相机平台固设于所述差动式移动小车；所述的差动式移动小车可以围绕机械臂本体移动，以通过pan-tilt相机平台获取包含被抓取目标标志物和机械臂本体上标志物的图像。在一些优选的实施例中，所述机械臂本体上设置的标志物与所述被抓取目标上设置的标志物一致。在一些优选的实施例中，所述标志物为矩形，该矩形上设置有四个标志点，四个标志点分别关于该矩形长度方向、宽度方向的中线对称。本专利技术的第二方面，提出了一种基于视觉伺服的机械臂目标导引方法，基于上述的基于视觉伺服的机械臂目标导引系统，包括以下步骤：步骤S10，通过pan-tilt相机平台获取包括第一标志物、第二标志物的图像，提取该图像中各标志物对应图像的特征点，并计算第一标志物、第二标志物的相对位姿；所述第一标志物为机械臂本体上设置的标志物，所述第二标志物为目标物体上设置的标志物；步骤S20，基于所述相对位姿，使用度量函数获取pan-tilt相机平台的最佳观测位置；步骤S30，基于pan-tilt相机平台的相机的水平和垂直视野区域约束，将所述差动式移动小车移动至所述的最佳观测位置；基于pan-tilt相机平台的相机的水平和垂直视野区域约束，以及所述相对位姿，控制机械臂本体的功能部位向目标物体移动。在一些优选的实施例中，步骤S10“提取该图像中各标志物对应图像的特征点，并计算第一标志物、第二标志物的相对位姿”，其方法为：分别计算第一标志物特征点坐标系与pan-tilt相机平台坐标系之间的位姿关系以及第二标志物特征点坐标系与pan-tilt相机平台坐标系之间的位姿关系，进而求解第一标志物与第二标志物之间的相对位姿。在一些优选的实施例中，步骤S20中“使用度量函数获取pan-tilt相机平台的最佳观测位置”，度量函数的最小值为pan-tilt相机平台的最佳观测位置，度量函数的计算方法为：其中，L函数是pan-tilt相机平台与目标相对位置的约束函数，θ1为被抓取目标标志物的特征中心点与相机的夹角，θ2为机械臂标志物的特征中心点与相机的夹角，T为预设的余弦阈值，S函数是成像面积的约束，k1为S函数的权重系数，s为标志物的成像面积，sd为预设期望面积，H是透视畸变函数，k2为H函数的权重系数，a1,a2,a3,a4为被抓取目标的标志物特征点之间的距离，b1,b2,b3,b4为机械臂标志物特征点之间的距离，P函数是成像距离图像边缘的约束，vmin为左上边特征点的v坐标，vmax为最下边特征点的v坐标，umin为最左边特征点的u坐标，umax为左右边特征点的u坐标，γ为特征点距离边缘的阈值。在一些优选的实施例中，步骤S30中“基于pan-tilt相机平台的相机的水平和垂直视野区域约束，将所述差动式移动小车移动至所述的最佳观测位置”其方法为：根据pan-tilt相机平台的水平和垂直视野区域约束的区域，将两个约束区域进行合并，获取差动式小车可以移动的区域，在可移动区域范围内，小车按照预设的规则移动。在一些优选的实施例中，步骤S30中“基于pan-tilt相机平台的相机的水平和垂直视野区域约束，以及所述相对位姿，控制机械臂本体的功能部位向目标物体移动”，其方法为：所述的相对位姿为所述差动式移动小车移动至所述的最佳观测位置后，重新计算得到第一标志物与第二标志物的相对位姿。本专利技术的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序应用由处理器加载并执行上述的基于视觉伺服的机械臂目标导引方法。本专利技术的第四方面，提出了一种处理设置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；所述程序适用于由处理器加载并执行上述的基于视觉伺服的机械臂目标导引方法。本专利技术的有益效果：本专利技术能够避免传统的视觉伺服Eye-in-Hand和Eye-to-Hand中常出现的特征点被遮挡、目标成像大小不合适、目标脱离相机视野等情况。本专利技术中的机械臂和被操作目标设置有标志物，pan-tilt相机平台通过同时观测两个标志物确定机械臂与操作目标之间的相对位姿关系，通过无线通讯传送给机械臂所述相对位姿信息，机械臂系统完成趋近或者装配任务。在机械臂操作的过程中，移动平台能够与机械臂进行协调运动。移动平台会根据相机当前的观测效果做出最佳观测位置估计，并移动到该位置，保证两个标志物在相机中具有良好的观测效果。附图说明通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本申请的其他特征、目的和优点将会变得更明显。图1是本专利技术一种实施例的基于视觉伺服的机械臂目标导引方法的移动机器人与机械臂系统交互流程示意图；图2是本专利技术一种实施例的基于视觉伺服的机械臂目标导引系统的Eye-in-Vehicle配置示例图；图3本专利技术一种实施例的基于视觉伺服的机械臂目标导引系统的移动机器人示例图；图4本专利技术一种实施例的基于视觉伺服的机械臂目标导引方法的pan-tilt相机平台的水平视野区域约束的示例图；图5本专利技术一种实施例的基于视觉伺服的机械臂目标导引方法的pan-tilt相机平台的水平和垂直视野区域约束区域重叠下的小车逆时针移动区域示例图；图6本专利技术一种实施例的基于视觉伺服的机械臂目标导引方法的pan-tilt相机平台的水平和垂直视野区域约束区域重叠下的小车顺时针移动区域示例图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施例中的技术方案进行清楚、完整地描述，显然本文档来自技高网...

【技术保护点】
1.一种基于视觉伺服的机械臂目标导引系统，其特征在于，该导引系统包括移动机器人和机械臂系统；所述移动机器人包括pan‑tilt相机平台、一个差动式移动小车；所述机械臂系统包括机械臂本体、机械臂控制系统；所述机械臂本体可移动一端的端部设置有标志物；所述pan‑tilt相机平台固设于所述差动式移动小车；所述的差动式移动小车可以围绕机械臂本体移动，以通过pan‑tilt相机平台获取包含被抓取目标标志物和机械臂本体上标志物的图像。

【技术特征摘要】
1.一种基于视觉伺服的机械臂目标导引系统，其特征在于，该导引系统包括移动机器人和机械臂系统；所述移动机器人包括pan-tilt相机平台、一个差动式移动小车；所述机械臂系统包括机械臂本体、机械臂控制系统；所述机械臂本体可移动一端的端部设置有标志物；所述pan-tilt相机平台固设于所述差动式移动小车；所述的差动式移动小车可以围绕机械臂本体移动，以通过pan-tilt相机平台获取包含被抓取目标标志物和机械臂本体上标志物的图像。2.根据权利要求1所述的基于视觉伺服的机械臂目标导引系统，其特征在于，所述机械臂本体上设置的标志物与所述被抓取目标上设置的标志物一致。3.根据权利要求1所述的基于视觉伺服的机械臂目标导引系统，其特征在于，所述标志物为矩形，该矩形上设置有四个标志点，四个标志点分别关于该矩形长度方向、宽度方向的中线对称。4.一种基于视觉伺服的机械臂目标导引方法，其特征在于，基于权利要求1-3任一项所述的基于视觉伺服的目标定位系统，包括以下步骤：步骤S10，通过pan-tilt相机平台获取包括第一标志物、第二标志物的图像，提取该图像中各标志物对应图像的特征点，并计算第一标志物、第二标志物的相对位姿；所述第一标志物为机械臂本体上设置的标志物，所述第二标志物为目标物体上设置的标志物；步骤S20，基于所述相对位姿，使用度量函数获取pan-tilt相机平台的最佳观测位置；步骤S30，基于pan-tilt相机平台的相机的水平和垂直视野区域约束，将所述差动式移动小车移动至所述的最佳观测位置；基于pan-tilt相机平台的相机的水平和垂直视野区域约束，以及所述相对位姿，控制机械臂本体的功能部位向目标物体移动。5.根据权利要求4所述的基于视觉伺服的机械臂目标导引方法，其特征在于，步骤S10“提取该图像中各标志物对应图像的特征点，并计算第一标志物、第二标志物的相对位姿”，其方法为：分别计算第一标志物特征点坐标系与pan-tilt相机平台坐标系之间的位姿关系以及第二标志物特征点坐标系与pan-tilt相机平台坐标系之间的位姿关系，进而求解第一标志物与第二标志物之间的相对位姿。6.根据权利要求4所述的基于视觉伺服的机械臂目标导引方法，其特征在于，步骤S20中“使用度量函数获取pan-tilt相机平台的最佳观测...

【专利技术属性】
技术研发人员：马洪轩，邹伟，朱政，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京,11