一种三维视觉引导机械手抓取的方法及系统技术方案

本发明专利技术提供了一种三维视觉引导机械手抓取方法及系统，整个系统在空间中是固定的，视野不会因为机械臂的移动而变化，目标物体不易脱离摄像机的观察视野；通过离线标定的方式获取，系统模型结构就能进行重复标定，以保证长期作业任务中的作业精度；机器人能够对环境进行感知，利用3D机器视觉扫描和点云特征识别分析技术，引导机器人完成一些无序物体的识别和抓取任务，使得人们从重复性高、危险的劳动中解放出来。

【技术实现步骤摘要】
一种三维视觉引导机械手抓取的方法及系统
本专利技术属于视觉引导
，具体涉及一种三维视觉引导机械手抓取的方法及系统。
技术介绍
随着社会的发展，机械手越来越普遍地用于替代人工劳动。视觉技术作为一种重要的机器人感知方式，模仿人的视觉功能，通过分析三维视觉模组扫描的信息来感知客观的环境，从而实现测量与判断，实现与客观环境交互。对于高精度灵活的作业，必须借助机器智能识别来完成，帮助机械手主动到达三维空间中非固定目标作业点位。研究给机械手添加三维视觉引导功能是十分必要的。现有技术中，机械手无法自主识别三维空间中非固定目标作业点的问题。因此,现有技术还需要进一步改进和发展。
技术实现思路
本专利技术的目的是为了提供一种三维视觉引导机械手抓取的方法及系统,以面向工业的精确抓取为背景，围绕着基于视觉的手眼协同展开方法和控制系统设计，旨在解决现有技术中，机械手无法自主识别三维空间中非固定目标作业点的问题。所采用的技术方案为：一种三维视觉引导机械手抓取方法，包括以下步骤：A、搭建Eye-To-Hand三维视觉引导系统；B、控制机械手取标定点位，保持标定板固定不动，用三维视觉模组对其进行扫描，利用扫描模块和机械手获取到的标定点信息进行手眼标定；C、用三扫描模块扫描工作区内的待抓取物体，用手眼标定信息将扫描模块坐标系下的物体点云转换到机械手坐标系下；D、处理三维扫描点云，得到待抓取物体的位置和姿态信息；E、将待抓取物体的位置和姿态信息发送给机械手，使机械手完成物体的抓取。步骤A具体为：在工作平台及环境固定的情况下，机器人基座不发生运动，在与机械手基座相对固定的位置安装扫描模块。步骤B具体为：控制机械手取标定点位，保持标定板固定不动，用扫描模块对其进行扫描，利用扫描模块和机械手获取到的标定点信息进行手眼标定；每次机械手取标定点位要得到机器人基坐标系下末端坐标系的位姿以及在相机坐标系下标定板坐标系的位姿，取到的标定点信息；通过机械手取标定点坐标然后求解出机械手相对于标定板的位姿转换矩阵，从而计算出机械手相对于摄像机的位姿转换矩阵，完成手眼标定。步骤C具体为：扫描模块扫描工作区内的待抓取物体，用手眼标定得到的转换矩阵，将扫描模块坐标系下的物体点(Xi，Yi，Zi)(i∈[0，N])转换到机械手坐标系下。步骤D具体为：要对目标物体进行抓取操作，对物体进行位姿估计，采用的是基于模板匹配的方法对物体进行位姿估计，匹配前先用一个模板生成一个模型，对实时三维扫描的点云进行模板匹配，得到待抓取物体的位置和姿态信息。三维视觉引导机械手抓取系统包括：扫描模块、手眼标定模块、物体识别算法模块、通信模块和工业机械手；所述扫描模块，用于将编码光栅结构光投射到目标物体表面，利用拍摄的光栅编码物体图像，解析得到物体的三维点云；所述手眼标定模块，标定涉及工具坐标系、机械手基座坐标系、扫描模块坐标系和标定板坐标系四个坐标系，通过标定板坐标系，获取扫描模块与机械手之间的空间关系，使得机械手模块可以利用扫描模块所获取的三维物体信息；所述物体识别算法模块，用于利用扫描模块得到的物体三维点云数据信息，对其进行三维位姿计算；采用基于模板匹配的方法对物体进行位姿估计，对实时三维扫描的点云进行模板匹配，从而计算得到目标抓取物在机械手基础坐标系下的三维位置和姿态分析计算得到目标抓取物的位置和姿态；所述通信模块，用于机械手和工控机之间的实时网络通讯，使工控机分析处理扫描模块获得的信息后，给机械手模块发送控制抓取的三维位姿信息；机械手完成抓取后，通过网络通信告知工控机其位置信息，或通知工控机继续进行工作区内的扫描；所述工业机械手，用于接收工控机抓取信息，对目标物体执行抓取操作。扫描模块为三维视觉模组装置，三维视觉模组装置为双目立体相机，机械手为六自由度工业机械手，安装时三维视觉模组装置在空间中固定，机械手跟三维视觉模组装置的相对位置保持不变。系统使用前进行的手眼标定，计算摄像机标定获取摄像机相对于标定板的位姿转换矩阵，以及机械手相对于同一个标定板自定义的参考坐标系的位姿转换矩阵，从而计算出机械手相对于摄像机的位姿转换矩阵。编码光栅结构光由DLP扫描模组输出，针对同一目标物体，扫描模组输出至少两种不同频率的编码光栅结构光。有益效果：本专利技术提供了一种三维视觉引导机械手抓取的方法及系统，通过三维视觉模组模仿人的视觉功能，整个系统在空间中是固定的，视野不会因为机械臂的移动而变化，目标物体不易脱离摄像机的观察视野；通过离线标定的方式获取，系统模型结构就能进行重复标定，以保证长期作业任务中的作业精度；机器人能够对环境进行感知，利用3D机器视觉扫描和点云特征识别分析技术，引导机器人完成一些无序物体的识别和抓取任务，从而实现测量、判断与客观的环境交互，使得人们从重复性高、危险的劳动中解放出来。附图说明图1是本专利技术三维视觉引导机械手抓取的系统的机械手抓取方法流程图；图2是本专利技术三维视觉引导机械手抓取的系统的结构示意图；图3是本专利技术三维视觉引导机械手抓取的系统的实物模型图；图4是本专利技术三维视觉引导机械手抓取的系统的实物模型扫描的三维点云结构；图5是本专利技术三维视觉引导机械手抓取的系统的部分结构图。具体实施方式为使本专利技术的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本专利技术进一步详细说明。如图1所示，一种三维视觉引导机械手抓取方法，包括以下步骤：A、三维视觉引导系统的系统模型，即三维视觉模组装置100和机器人之间的空间几何关系，我们采用的是Eye-To-Hand系统，搭建Eye-To-Hand三维视觉引导系统，在工作平台200及环境固定的情况下，机器人基座不发生运动，在与机械手300基座相对固定的位置安装三维视觉模组装置100，保证整个系统的稳定可靠性；视觉系统的视野不会因为机械臂的移动而变化，目标物体不易脱离摄像机的观察视野。后续三维视觉模组装100置得到的三维点云能够准确的转换到机械手300基础坐标系下。B、相机和机器人之间的坐标关系标定即手眼标定是一个重要的步骤。用三维视觉模组装置100作为传感器的操作任务中，可以用三维视觉模组装置100获得物体与相机之间的关系，因此，还需要相机与机器人建立关系以后，才能实现机器人对物体的操作。控制机械手300取标定点位，保持标定板固定不动，用三维视觉模组装置100对其进行扫描，利用三维视觉模组装置100和机械手300获取到的标定点信息进行手眼标定；每次机械手300取标定点位要得到机器人基坐标系下末端坐标系的位姿以及在相机坐标系下标定板坐标系的位姿，取到的标定点信息。通过机械手300取标定点坐标然后求解出机械手相对于标定板的位姿转换矩阵，从而计算出机械手相对于摄像机的位姿转换矩阵，完成手眼标定。可通过离线标定的方式获取，系统模型结构就能进行重复标定，以保障长期作业任务中的作业精度。C、三维视觉模组装置100扫描工作区内的待抓取物体，用手眼标定得到的转换矩阵，将三维视觉模组装置坐标系下的物体点(Xi，Yi，Zi)(i∈[0，N])转换到机械手坐标系下，使后续处理结果可通过机械手300准确定位。D、目标物体是一块鞋子底模400，要对目标物体进行抓取操作，需要对物体进行位姿估计。本专利技术采用的是基于模板匹配的方法对物体进行位姿估计。匹配前先用一个模板本文档来自技高网...

【技术保护点】
1.一种三维视觉引导机械手抓取方法，其特征在于，包括以下步骤：A、搭建Eye‑To‑Hand三维视觉引导系统；B、控制机械手取标定点位，保持标定板固定不动，用三维视觉模组对其进行扫描，利用扫描模块和机械手获取到的标定点信息进行手眼标定；C、用三扫描模块扫描工作区内的待抓取物体，用手眼标定信息将扫描模块坐标系下的物体点云转换到机械手坐标系下；D、处理三维扫描点云，得到待抓取物体的位置和姿态信息；E、将待抓取物体的位置和姿态信息发送给机械手，使机械手完成物体的抓取。

【技术特征摘要】
1.一种三维视觉引导机械手抓取方法，其特征在于，包括以下步骤：A、搭建Eye-To-Hand三维视觉引导系统；B、控制机械手取标定点位，保持标定板固定不动，用三维视觉模组对其进行扫描，利用扫描模块和机械手获取到的标定点信息进行手眼标定；C、用三扫描模块扫描工作区内的待抓取物体，用手眼标定信息将扫描模块坐标系下的物体点云转换到机械手坐标系下；D、处理三维扫描点云，得到待抓取物体的位置和姿态信息；E、将待抓取物体的位置和姿态信息发送给机械手，使机械手完成物体的抓取。2.根据权利要求1所述的三维视觉引导机械手抓取方法，其特征在于，所述步骤A具体为：在工作平台及环境固定的情况下，机器人基座不发生运动，在与机械手基座相对固定的位置安装扫描模块。3.根据权利要求1所述的三维视觉引导机械手抓取方法，其特征在于，所述步骤B具体为：控制机械手取标定点位，保持标定板固定不动，用扫描模块对其进行扫描，利用扫描模块和机械手获取到的标定点信息进行手眼标定；每次机械手取标定点位要得到机器人基坐标系下末端坐标系的位姿以及在相机坐标系下标定板坐标系的位姿，取到的标定点信息；通过机械手取标定点坐标然后求解出机械手相对于标定板的位姿转换矩阵，从而计算出机械手相对于摄像机的位姿转换矩阵，完成手眼标定。4.根据权利要求1所述的三维视觉引导机械手抓取方法，其特征在于，所述步骤C具体为：扫描模块扫描工作区内的待抓取物体，用手眼标定得到的转换矩阵，将扫描模块坐标系下的物体点(Xi，Yi，Zi)(i∈[0，N])转换到机械手坐标系下。5.根据权利要求1所述的三维视觉引导机械手抓取方法，其特征在于，所述步骤D具体为：要对目标物体进行抓取操作，对物体进行位姿估计，采用的是基于模板匹配的方法对物体进行位姿估计，匹配前先用一个模板生成一个模型，对实时三维扫描的点云进行模板匹配，得到待抓取物体的位置和姿态信息。6.根据权利要求1所述的三维视觉引导机械手抓取...

【专利技术属性】
技术研发人员：李虹，杜先鹏，郭俊兴，代启强，周印伟，
申请(专利权)人：青岛小优智能科技有限公司，
类型：发明
国别省市：山东,37