一种工业机械臂多工位作业下的视觉对准方法技术

本发明专利技术公开一种工业机械臂多工位作业下的视觉对准方法，首先，利用系统标定建立起各坐标系之间的位置关系；其次，设计一套合作靶标，将其布置在对准工位附近，并进行靶标位姿求解；获取靶标期望位姿，然后为多个工位建立对准任务表；以任务表为依据执行对准操作，计算靶标的实际位姿与期望位姿的偏差，将偏差量解算为机械臂的运动数据，驱动末端进行位姿调整，最终实现末端工具与工位的精确对准。本发明专利技术的对准方法鲁棒性好，稳健可靠，测量结果精度高；硬件系统构成简单，成本低、灵活性强；在对准过程中不会因对准工具和目标产生视觉遮挡，且满足实时性需求，用于解决近距离对准问题具有优势，适合工业现场的应用。

【技术实现步骤摘要】
一种工业机械臂多工位作业下的视觉对准方法
本专利技术属于智能制造
，具体涉及一种工业机械臂多工位作业下的视觉对准方法。
技术介绍
随着航空航天领域往智能制造方向不断发展，工业机械臂被广泛应用于飞机零部件的对准、旋拧和抓取等装配工作中。传统的机械臂装配工作依靠示教再现或固定编程实现基本的运动操作，绝对定位精度低，且对环境的感知能力差，无法满足智能装配的要求。为提升机械臂装配的灵活性和柔性，视觉传感器与工业机械臂逐渐融合，构建合适的机械臂视觉系统是完成装配作业的一个重要前提。基于视觉反馈的机械臂装配系统可根据机械臂与视觉的结合方式分为Eye-in-Hand和Eye-to-Hand两种，又可依据视觉传感器数目分为单目、双目和多目系统。单目Eye-to-Hand机械臂抓取系统，已知目标工件的尺寸，通过图像预处理和单目视觉获取工件的位姿，引导机械臂快速有效地抓取工件，且位姿误差小，能够满足工业生产的预期要求。双目立体视觉系统，根据双目三维重建原理完成对目标图像关键点的三维重建，实现对机械臂手持工件轴和带孔工件圆片的位姿测量，其中立体匹配是难题。单目视觉系统，以花键轴的轴套为定位目标，并在轴套上固定了人工标志物来辅助完成花键轴与花键套的对准，但该过程完全忽略姿态问题。目前，双目和多目系统存在结构复杂、鲁棒性较差、图像之间的立体匹配困难等问题；而单目系统结构简单、相机标定容易且精度高，近年来大多数研究都是基于单目系统。Eye-to-Hand的结合方式使机械臂视场变大，但容易产生遮挡问题；Eye-in-Hand系统的局部精度更高，视场观察范围更加灵活。在此基础上，为了准确复现对准目标的位姿信息，工程中一般考虑合作式方案和非合作式方案。非合作式方案是利用目标自身的特征属性辅助完成测量，但这些特征不固定，难以稳定提取，且未必满足位姿解算要求。
技术实现思路
本专利技术解决的技术问题：现有的定位精度低，且对环境的感知能力差；结构复杂、鲁棒性较差、图像之间的立体匹配困难。技术方案：为了解决上述技术问题，本专利技术采用的技术方案如下：一种工业机械臂多工位作业下的视觉对准方法，首先，利用系统标定建立起各坐标系之间的位置关系；其次，设计一套合作靶标，将其布置在对准目标附近，并进行靶标位姿求解；获取靶标期望位姿，然后为目标建立对准任务表；以任务表为依据执行对准操作，计算靶标的实际位姿与期望位姿的偏差，将偏差量解算为机械臂的运动数据，驱动末端进行位姿调整，最终实现末端工具与目标的精确对准。作为优选，系统标定中，首先进行TCP标定，得到法兰坐标系相对于机械臂基坐标系的变换关系然后进行相机标定和手眼标定，相机标定获得相机坐标系和图像坐标系之间的映射关系，手眼标定获得相机坐标系相对于法兰坐标系的变换关系作为优选，每个靶标上布置有多个特征点，其中若干特征点相连形成凸包，剩余特征点处于凸包内部，凸包上的特征点按照顺时针顺序编号，其中凸包上特征点用于计算单应矩阵，凸包内部特征点用于验证单应矩阵，获取靶标三维坐标点点集，然后相机采集靶标图像并对图像进行处理，得到图像特征点点集，建立图像特征点与靶标三维点之间的对应关系；利用PNP算法(pespective-n-point)计算出靶标在相机坐标系下的位姿变换关系即作为优选，靶标的图像处理过程为：首先对图像进行高斯滤波，去除多余噪声；使用Canny算子进行边缘检测，将检测到的边缘以树形结构存储；根据面积约束和圆度准则得到可能的特征点轮廓，接着对每个轮廓直径上的像素点灰度值是否连续进行判断，进一步筛选得到正确的特征点轮廓；采用最小二乘拟合特征点轮廓的最小外接矩形，将该矩形的中心认定为特征点中心，得到图像特征点点集。作为优选，建立任务表的方法为：控制机械臂运动使得末端工具在装配作业前与各工位上的目标进行预对准，相机采集该目标所对应合作靶标的图像，利用位姿求解算法获得目标所对应靶标的期望位姿，记为接着为目标建立对准任务，将末端工具信息、已测得的靶标特征点点集和期望位姿作为先验信息存储到任务中，为所有工位的目标建立任务，形成任务表。作为优选，相机采集靶标当前图像并计算得到靶标相对于相机坐标系的当前位姿变换关系然后计算当前位姿变换关系与期望位姿的误差若该误差大于设定的阈值，则结合系统标定结果将误差转换到机械臂基坐标系下，解算出机械臂的运动数据并引导机械臂运动。作为优选，当机械臂运动到新位置后重新采集图像并计算位姿误差，直到小于设定的阈值，则完成对准任务；查找任务表，判断是否完成所有任务，若没有，则继续执行下一项任务，直至完成所有任务。作为优选，设末端工具与目标处于对准状态时法兰在机械臂基坐标系下的位姿变换关系为当机械臂调整位姿达到时，靶标和相机的位姿关系达到期望位姿，末端工具与目标处于对准状态。作为优选，对机械臂的运动量进行定位误差的插补，中包含两个分量：旋转矩阵和平移向量将旋转矩阵转换为四元数进行坐标旋转插补，对平移向量进行位置插补，计算过程如下：其中，和分别是当前法兰在机械臂基坐标系下的位姿变换矩阵中的旋转矩阵和平移向量；和分别是对准状态时法兰在机械臂基坐标系下的位姿变换矩阵中的旋转矩阵和平移向量；k为插值系数，本专利技术中取值为0.8；Slerp()为插补函数。最后得到的构成新的变换矩阵即机械臂需要调整到达的位姿。有益效果：与现有技术相比，本专利技术具有以下优点：本专利技术获取靶标的期望位姿并为多工位上的目标建立任务表，系统以任务表为依据执行对准操作，将靶标当前位姿与期望位姿的偏差作为驱动量，控制机械臂运动进行迭代调姿，最终偏差收敛在一定范围内成功实现对准，整个系统构成一个基于位置反馈的闭环系统。实验结果表明，测量距离约在260mm处，对准精度在X、Y方向达到0.1mm，Z方向达到0.2mm，角度误差优于0.1°。本专利技术在使用单目Eye-in-Hand系统和采用合作式方案的基础上，本专利技术的机械臂多工位作业下的视觉对准方法，设计的一套合作靶标用以提供特征点，利用特征点在靶标坐标系中的三维坐标和图像上特征点的二维坐标解算相机和靶标的位姿关系，鲁棒性好，稳健可靠，测量结果精度更高；本专利技术的硬件系统构成简单，成本低、灵活性强；在对准过程中不会产生遮挡，且满足实时性需求。用于解决近距离对准问题具有优势，适合工业现场的应用。附图说明图1是工业机械臂多工位作业下的视觉对准方法系统示意图；图2是工业机械臂多工位作业下的视觉对准方法流程图；图3是工业机械臂多工位作业下的视觉对准方法手眼标定过程图；图4是工业机械臂多工位作业下的视觉对准方法合作靶标图；图5是工业机械臂多工位作业下的视觉对准方法靶标的处理图像；图6是工业机械臂多工位作业下的视觉对准方法凸包点顺序调整图；图7是工业机械臂多工位作业下的视觉对准方法机械臂数据格式。图8是工业机械臂多工位作业下的视觉对准方法调姿次数。具体实施方式下面结合具体实施例，进一步阐明本专利技术，实施例在以本本文档来自技高网...

【技术保护点】
1.一种工业机械臂多工位作业下的视觉对准方法，其特征在于：首先，利用系统标定建立起各坐标系之间的位置关系；其次，设计一套合作靶标，将其布置在对准工位附近，并进行靶标位姿求解；获取靶标期望位姿，然后以靶标周围的多个工位为目标，多个工位可建立多个对准任务，形成对准任务表；以任务表为依据执行对准操作，计算靶标的实际位姿与期望位姿的偏差，将偏差量解算为机械臂的运动数据，驱动末端进行位姿调整，最终实现末端工具与目标的精确对准。/n

【技术特征摘要】
1.一种工业机械臂多工位作业下的视觉对准方法，其特征在于：首先，利用系统标定建立起各坐标系之间的位置关系；其次，设计一套合作靶标，将其布置在对准工位附近，并进行靶标位姿求解；获取靶标期望位姿，然后以靶标周围的多个工位为目标，多个工位可建立多个对准任务，形成对准任务表；以任务表为依据执行对准操作，计算靶标的实际位姿与期望位姿的偏差，将偏差量解算为机械臂的运动数据，驱动末端进行位姿调整，最终实现末端工具与目标的精确对准。


2.根据权利要求1所述的工业机械臂多工位作业下的视觉对准方法，其特征在于：系统标定中，首先进行TCP标定，得到法兰坐标系相对于机械臂基坐标系的变换关系然后进行相机标定和手眼标定，相机标定获得相机坐标系和图像坐标系之间的映射关系，手眼标定获得相机坐标系相对于法兰坐标系的变换关系


3.根据权利要求1所述的工业机械臂多工位作业下的视觉对准方法，其特征在于：每个靶标上布置有多个特征点，其中若干特征点相连形成凸包，剩余特征点处于凸包内部，凸包上的特征点按照顺时针顺序编号，其中凸包上特征点用于计算单应矩阵，凸包内部特征点用于验证单应矩阵，通过相机采集靶标图像并对图像进行处理，得到图像特征点点集，基于凸包规则和单应变换原理建立靶标上各点的唯一身份编号，通过编号建立图像特征点与靶标三维特征点之间的对应关系；利用PNP算法计算出靶标坐标系相对于相机坐标系的变换关系即


4.根据权利要求3所述的工业机械臂多工位作业下的视觉对准方法，其特征在于：靶标的图像处理过程为：首先对图像进行高斯滤波，去除多余噪声；使用Canny算子进行边缘检测，将检测到的边缘以树形结构存储；根据面积约束和圆度准则得到可能的特征点轮廓，接着对每个轮廓直径上的像素点灰度值是否连续进行判断，进一步筛选得到正确的特征点轮廓；采用最小二乘拟合特征点轮廓的最小外接矩形，将该矩形的中心认定为特征点中心，得到图像特征点点集。


5.根据权利要求1所述的工业机械臂多工位作...

【专利技术属性】
技术研发人员：叶南，石世锋，祝鸿宇，张丽艳，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏;32