一种基于机器视觉的工业机器人示教系统及方法技术方案

本发明专利技术公开了一种基于机器视觉的工业机器人示教系统，包括图像传感器、标志物、安装有机器人示教模块的电脑、机器人控制器、机器人，所述图像传感器与安装有机器人示教模块的电脑相连，用于获得人手在机器人示教过程中的图像；所述标志物被安放在示教者的手背上；所述电脑通过图像处理和P4P位姿估计获得标志物和人手掌在相机坐标系下的位置和姿态、估计示教者食指3个关节的角度，并得到指尖和手掌的位姿关系；所述电脑通过以太网控制机器人重复人手演示的路径，实现机器人示教再现。本发明专利技术还公开了一种基于机器视觉的工业机器人示教方法。本发明专利技术提高了机器人易用性，尤其适用于喷涂与打磨机器人这种示教点位姿精度不高，但是路径复杂的领域。

Industrial robot teaching system and method based on machine vision

The invention discloses an industrial robot based on machine vision teaching system, including image sensors, markers, installation of robot robot, robot controller, computer teaching module, the image sensor and the installation of robot teaching module is connected to the computer, used to obtain the image shown in the process of teaching staff in the robot; the marker was placed in a demonstrator on the back of the hand; the computer to obtain palm markers and in camera coordinate position and attitude, through image processing and P4P pose estimation demonstrator 3 finger joint angles, and the pose relationship between fingers and hands; path the computer through Ethernet to control the robot hand repeated demonstration, the robot teaching and playback. The invention also discloses an industrial robot teaching method based on machine vision. The invention improves the usability of the robot, and is especially suitable for the spraying and polishing robot, and the teaching method has the advantages of low precision of point positioning, but complicated path.

【技术实现步骤摘要】
一种基于机器视觉的工业机器人示教系统及方法
本专利技术涉及工业机器人领域，尤其涉及一种基于机器视觉方法测量人手指尖在机器人示教过程中的位置和姿态的工业机器人示教系统及方法。
技术介绍
机器人技术是一门综合学科，它涵盖了电脑信息技术、控制理论、机械设计、传感技术、人工智能、仿生学等众多学科。机器人的出现对人们的日常生活产生了重大的影响，机器人种类繁多，根据应场景不同机器人可以分为服务机器人、医疗机器人、特种机器人、水下机器人、工业机器人等。在现代科学技术的带动下，机器人技术有了较大的进步，尤其是在工业中的应用非常广泛、技术也相对成熟。工业机器人可以帮助人们快速地完成繁重且重复的任务，而且还可以在极端的环境中作业，因此它被大量地应用在各行各业中，例如汽车制造、工件分拣、产品装配、码垛等。工业机器人在应对新的工作任务的时候需要对其进行示教，也就是教会机器人完成任务的步骤。目前工业机器人的示教以“示教再现”的形式为主，“示教再现”是指先由操作者以某种交互方式演示机器人在执行任务时所要达到的位置和姿态，并记录这些信息，通过处理使得机器人可以再现操作者的动作，完成既定的任务。当要完成的任务需要复杂的轨迹时，如打磨、喷涂等任务，机器人的示教工作就非常的繁琐和耗时。如今虽在机器人系统中加入视觉传感器、力传感器等设备提高了机器人在应用中的适应性，但是在实际的应用中机器人的示教过程依然复杂，操作者需要专门的培训才能操作，只适应于大批量生产，不能应对生产任务的频繁改变。随着“中国制造2025”和“工业4.0”概念的提出，制造业已经逐步从大规模批量生产向着个性化定制的方向发展，这就要求制造业的生产线具有很高的柔性来应对产品的快速改型，传统的示教再现形式已经不能满足这种柔性制造的要求。
技术实现思路
有鉴于此，本专利技术提供了一种基于机器视觉的工业机器人示教方法和系统。通过机器视觉识别人手食指指尖在示教过程中的位置和姿态，并转化为机器人的示教点位姿，实现对机器人的示教。这种示教方法操作简单、通用性好，提高了机器人易用性。尤其适用于喷涂与打磨机器人这种示教点位姿精度不高，但是路径复杂的领域。本专利技术采用如下技术方案实现：一种基于机器视觉的工业机器人示教系统，包括图像传感器、标志物、安装有机器人示教模块的电脑、机器人控制器、机器人，所述的图像传感器与安装有机器人示教模块的电脑相连，用于获得人手在机器人示教过程中的图像；所述标志物被安放在示教者的手背上，用于确定目标特征点在三维物体坐标和二维图像坐标之间的对应关系；所述电脑通过图像处理和P4P位姿估计获得标志物和人手掌在相机坐标系下的位置和姿态、估计示教者食指3个关节的角度，并得到指尖和手掌的位姿关系；所述电脑同时通过以太网与机器人控制器通信相连，控制机器人重复人手演示的路径，实现机器人的示教再现。进一步地，所述的图像传感器采用Kinect图像传感器，用于获取手部的图像、通过粒子滤波算法跟踪示教过程中手部在图像中的位置，获取手部图像的ROI区域。进一步地，所述标志物包括四个相同直径且不同颜色的圆形标志，四个圆形标志的圆心位于设定边长的正方形的4个顶点上，所述圆形标志的直径和所述正方形的边长根据图像传感器的视场按比例调节。进一步地，所述圆形标志的直径为10mm；颜色分别为红、黄、绿、紫四种颜色；所述正方形的边长为30mm。一种基于所述工业机器人示教系统的工业机器人示教方法，包括步骤：S1、图像中手部的位置获取，通过图像传感器获得操作者的人手在工作空间内的机器人示教过程中的图像，并通过粒子滤波算法跟踪示教过程中手部在图像中的位置，获取手部图像的ROI区域；S2、测量手掌的位姿，利用所述标志物来确定目标特征点在三维物体坐标和二维图像坐标之间的对应关系，再利用基于Dogleg优化的P4P算法得到手掌在相机坐标系下的位置和姿态；S3、在已知手掌位姿的情况下，通过指尖和手掌的位姿关系获得指尖的位置和姿态；S4、把指尖的位置和姿态信息转换到机器人基坐标系下，并离散记录连续示教路径中的示教点的位姿，然后通过中值滤波器处理得到平滑的示教路径传输至机器人控制器实现机器人的示教再现。进一步地，步骤S3中，所述指尖和手掌的位姿关系的获取包括步骤：S31、通过OpenGL建立一个可以根据输入的手指关节参数变化的三维模型；S32、使用基于模型的粒子群优化算法估计手指关节角度得到指尖和手掌的位姿关系。进一步地，所述步骤S32具体包括：S321、对示教者在进行示教之前所获得的手指图像进行处理得到3段食指的外轮廓；S322、所述三维模型根据不同的手指关节参数生成若干OpenGL图像；S323、将其中一张OpenGL图像进行处理得到3段食指的外轮廓；S324、将步骤S321中得到的3段食指的外轮廓的曲线与S321得到的3段食指的外轮廓的曲线进行相似度估计，若匹配，则根据所选OpenGL图像所对应的手指关节参数得到指尖和手掌的位姿关系，否则，选择另一张OpenGL图像并返回步骤S323。进一步地，步骤S324中，所述进行相似度估计的步骤是采用曲线曲率积分作为曲线的特征并用快速归一化互相关系数来测量两个特征之间的距离，具体包括步骤：S331、分别计算两条曲线上各点pi处的曲率，其公式为：已知曲线l的表达式为y＝f(x)，点pk为x＝k时曲线上的点；S332、分别计算两条曲线上点pk处的曲率积分，其公式为：S333、分别设定两条曲线的曲率积分为g1(k)和g2(k)，得到相似度函数：S334、将相似度函数的值与设定阈值进行比较，根据比较的结果完成相似度估计。进一步地，所述手指关节参数包括3个食指关节的夹角、3个拇指关节的夹角、以及手掌的6个空间自由度。进一步地，所述手指图像及OpenGL图像进行处理的过程具体包括步骤：S341、对图像进行二值化处理；S342、对二值化处理后的图像进行轮廓提取；S343、提取手指外轮廓；S344、对手指外轮廓分段拟合。相比现有技术，本专利技术通过机器视觉识别人手食指指尖在示教过程中的位置和姿态，并转化为机器人的示教点位姿，实现对机器人的示教，在实际的应用中对机器人的示教过程简单可靠、操作方便，操作者无需要专门的培训，既适应于大批量生产，也能应对频繁改变时少量多批次的生产任务，提高了机器人易用性，尤其适用于喷涂与打磨机器人这种示教点位姿精度不高，但是路径复杂的领域。附图说明图1为本专利技术实施例的一种基于机器视觉的工业机器人示教系统示意图。图2为示教系统各个坐标系转换关系示意图。图3为标志物示意图。图4为标志物在手背的安放位置示意图。图5是示教者在进行示教之前所获得的手指图像。图6是根据不同的手指关节参数生成的OpenGL图像。图7为处理所得的3段食指的外轮廓示意图。图8为机器人示教模块界面示意图；图9为机器人示教系统坐标转换关系；图中：1-图像传感器；2-以太网；3-机器人；4-示教者；5-工作空间；6-电脑；7-机器人控制器。具体实施方式下面结合附图和具体示教过程对本专利技术的过程进行详细的描述。实施例一如下图1和图2所示，一种基于机器视觉的工业机器人示教系统，包括图像传感器1、标志物、安装有机器人示教模块的电脑6、机器人控制器7、机器人3，所述的图像传感器1与安装有机器人示教模块的电脑6相连，用于获得本文档来自技高网...

【技术保护点】
一种基于机器视觉的工业机器人示教系统，其特征在于：包括图像传感器、标志物、安装有机器人示教模块的电脑、机器人控制器、机器人，所述的图像传感器与安装有机器人示教模块的电脑相连，用于获得人手在机器人示教过程中的图像；所述标志物被安放在示教者的手背上，用于确定目标特征点在三维物体坐标和二维图像坐标之间的对应关系；所述电脑通过图像处理和P4P位姿估计获得标志物和人手掌在相机坐标系下的位置和姿态、估计示教者食指3个关节的角度，并得到指尖和手掌的位姿关系；所述电脑同时通过以太网与机器人控制器通信相连，控制机器人重复人手演示的路径，实现机器人的示教再现。

【技术特征摘要】
1.一种基于机器视觉的工业机器人示教系统，其特征在于：包括图像传感器、标志物、安装有机器人示教模块的电脑、机器人控制器、机器人，所述的图像传感器与安装有机器人示教模块的电脑相连，用于获得人手在机器人示教过程中的图像；所述标志物被安放在示教者的手背上，用于确定目标特征点在三维物体坐标和二维图像坐标之间的对应关系；所述电脑通过图像处理和P4P位姿估计获得标志物和人手掌在相机坐标系下的位置和姿态、估计示教者食指3个关节的角度，并得到指尖和手掌的位姿关系；所述电脑同时通过以太网与机器人控制器通信相连，控制机器人重复人手演示的路径，实现机器人的示教再现。2.根据权利要求1所述的基于工业机器视觉的机器人示教系统，其特征在于：所述的图像传感器采用Kinect图像传感器，用于获取手部的图像、通过粒子滤波算法跟踪示教过程中手部在图像中的位置，获取手部图像的ROI区域。3.根据权利要求1所述的基于机器视觉的工业机器人示教系统，其特征在于：其特征在于：所述标志物包括四个相同直径且不同颜色的圆形标志，四个圆形标志的圆心位于设定边长的正方形的4个顶点上，所述圆形标志的直径和所述正方形的边长根据图像传感器的视场按比例调节。4.根据权利要求3所述的基于机器视觉的工业机器人示教系统，其特征在于：所述圆形标志的直径为10mm；颜色分别为红、黄、绿、紫四种颜色；所述正方形的边长为30mm。5.一种基于权利要求1至4中任一项所述工业机器人示教系统的工业机器人示教方法，其特征在于，包括步骤：S1、图像中手部的位置获取，通过图像传感器获得操作者的人手在工作空间内的机器人示教过程中的图像，并通过粒子滤波算法跟踪示教过程中手部在图像中的位置，获取手部图像的ROI区域；S2、测量手掌的位姿，利用所述标志物来确定目标特征点在三维物体坐标和二维图像坐标之间的对应关系，再利用基于Dogleg优化的P4P算法得到手掌在相机坐标系下的位置和姿态；S3、在已知手掌位姿的情况下，通过指尖和手掌的位姿关系获得指尖的位置和姿态；S4、把指尖的位置和姿态信息转换到机器人基坐标系下，并离散记录连续示教路径中的示教点的位姿，然后通过中值滤波器处理得到平滑的示教路径传输至机器人控制器实现机器人的示教再现。6.根据权利要求5所述的工业机器人示教方法，其特征在于，步骤S3中，所述指尖和手掌的位姿关系的获取包括步骤：S31、通过OpenGL建立一个可以根据输入的手指关节参数变化的三维模型；S32、使用基于模型的粒子群优化算法估计手指...

【专利技术属性】
技术研发人员：黄沿江，周浩朋，张宪民，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44