用于二维平面的眼在手上机械手手眼标定方法及系统技术方案

本发明专利技术涉及用于二维平面的眼在手上机械手手眼标定方法及系统，属于视觉指导下的机械手运动技术领域，本发明专利技术的方法采用二维标定板进行相机标定与手眼标定，获得相机采集图像的像素坐标与机械手运动坐标之间的转换关系；相机采集工作现场图像，通过图像处理确定目标点像素坐标，根据转换关系将像素坐标转换为机械手运动坐标，将运动坐标通过TCP通信传送给控制柜，机械手接收坐标并运动至目标点。本发明专利技术的系统可以控制机械手运动并接受机械手当前坐标；控制柜与计算机以TCP协议通过以太网进行通信，传送机械手运动目标坐标并接受机械手当前坐标。本发明专利技术通过相机标定、手眼标定、目标点识别与定位、坐标变换，实现了视觉指导下的机械手运动。

Method and system of eye calibration for two-dimensional plane on hand manipulator

【技术实现步骤摘要】
用于二维平面的眼在手上机械手手眼标定方法及系统
本专利技术涉及用于二维平面的眼在手上机械手手眼标定方法及系统，属于视觉指导下的机械手运动

技术介绍
在机械手参与的生产过程中，不仅包括外界环境及工作参数已知的生产环境，还会遇到未知的外界环境和工作参数无法预先设定的工况，也有些生产环境不适合人工作业或者人类的视觉无法满足其精度要求。机器视觉作为替代人类视觉与生产工作环境进行信息交互的技术，成为机械手领域的重要研究方向，六自由度机器视觉焊接机器人(HuangW,XuH.Developmentofsix-DOFweldingrobotwithmachinevision[J].ModernPhys.Lett.B,2018,(34-36):1840079)，被广泛应用于现代工业生产中。机械手手眼标定技术作为机械手视觉技术的关键问题，一直都是机器视觉领域中的热点问题(李巍，吕乃光，董明利，娄小平.凸松弛全局优化机械手手眼标定[J].计算机应用,2017,(5):1451-1455)。Tsai和Lenz(TsaiRY,LenzRK.Anewtechniqueforfullyautonomousandefficient3Droboticshand/eyecalibration[J].RoboticsandAutomation,IEEETransactionson,1989,(3):345-358)在1989年首次提出了eye-on-hand手眼标定问题，首先标定旋转角度，然后根据旋转角度计算平移量，最终得出相对于机械手末端的相机三维位置和旋转角度，旋转精度十倍于当时现有的技术，线性精度与当时最先进的技术相同。基于Tsai和Lenz的研究，Daniilidis等(DaniilidisK.Hand-eyecalibrationusingdualquaternions[J].InternationalJournalofRoboticsResearch,1999,(3):286-298)提出采用对偶四元数的方法同时求得旋转和平移标定的方法，避免旋转误差对平移标定的影响。近年来，随着对优化算法的研究，许多新的、高精度的标定方法和标定算法被学者提出。JanHeller等（JH,MH,TP.GloballyOptimalHand-EyeCalibrationUsingBranch-and-Bound(Article)[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2016,(5):1027-1033）在2016年提出了基于分支定界的全局优化手眼标定算法，使用分支定界方法来最小化基于极线约束的目标函数，采用线性规划来决定算法的边界步骤，该算法能够同时恢复未知的旋转和平移，并且保证解决方案相对于L1范数是全局最优的，在校准装置缺乏精度或由于校准空间要求而不实用的情况下具有可行性。手眼标定算法就是对方程AX=XB求解X。GSChirikjian等（ChirikjianG,LiH,MaQ.NewprobabilisticapproachestotheAX=XBhand-eyecalibrationwithoutcorrespondence[J].2016IEEEInternationalConferenceonRoboticsandAutomation(ICRA),2016:4365-4371）在2016年提出了一种名为Batch方法的概率方法，不需要事先了解两个矩阵A和B，采用两种建立在批处理方法上的新的概率方法求解X，这减轻了对数据集的限制并显着提高了X的校准精度。
技术实现思路
本专利技术提出了一种用于二维平面的眼在手上机械手手眼标定方法及系统，通过搭建基于六自由度机械手的完整机械手手眼标定系统，通过相机标定、手眼标定、目标点识别定位、TCP通信、机械手控制，最终实现视觉指导下的机械手运动，在实际的工业生产中具有指导意义。本专利技术是采用以下的技术方案实现的：一种用于二维平面的眼在手上机械手手眼标定方法包括以下步骤：步骤一、固定相机，改变二维标定板的位置、旋转角度和倾斜角度，通过相机采集标定板图像，进行相机标定获得相机的内参与畸变参数；步骤二、将相机固定在机械手上，标定板固定于相机外，改变机械手的位姿，并使相机采集标定板图像，通过手眼标定确定像素坐标系与机械手基础坐标系的转换关系；步骤三、相机采集机械手工作现场图像，使用计算机端软件获取工作现场图像，通过图像处理获得目标点的像素坐标；步骤四、根据步骤二中得到的像素坐标系与机械手基础坐标系的转换关系将像素坐标转换为机械手运动坐标；步骤五、搭建机械手手眼标定系统，通过TCP通信将机械手运动坐标传送给控制柜，编写机械手控制程序，接收机械手运动坐标并控制机械手运动。进一步地，步骤一中通过相机标定获得相机内参和畸变参数的步骤是：世界坐标系的三维坐标点转换为相机坐标系的三维坐标点，然后投影到图像物理坐标系，转化为二维点；二维点经过畸变矫正后得到二维坐标点；经过二次转换，被转化到像素坐标系上的二维坐标点。进一步地，步骤二中通过手眼标定确定像素坐标系与机械手基础坐标系的转换关系的具体步骤是：相机固定在机械手末端法兰上，将标定板固定在机械手外；通过控制机械手末端运动带动相机移动，使标定板完整的出现在相机视场的不同位置，相机采集带有标定板的图像，并记录下每幅图像对应的机械手工具在机械手基础坐标系的位姿；通过标定算法建立像素坐标系与机械手基础坐标系的转换关系的超定方程。进一步地，像素坐标系与机械手基础坐标系的转换关系的超定方程为：（11）其中，表示在相机坐标系下标定板坐标系的位姿，表示在相机坐标系下机械手工具坐标系的位姿，表示在机械手工具坐标系下机械手基础坐标系的位姿，表示在机械手基础坐标系下标定板坐标系的位姿，其中、为常量固定不变。进一步地，步骤三中的目标点为二维平面上九个圆圈的圆心。进一步地，步骤三中通过图像处理获得目标点像素坐标的具体步骤是：采集的工作现场图像经过二值化、形态学处理、圆度特征提取、Hough变换获得圆圈的圆心像素坐标。进一步地，步骤四中根据像素坐标系与机械手基础坐标系的转换关系将像素坐标转换为机械手运动坐标的具体步骤是：（1）以标定板坐标系为参考坐标系，将像素坐标转化为参考坐标系下的坐标；（2）根据参考坐标系与相机坐标系的转换关系，将参考坐标系下的坐标转化为相机坐标系下的坐标；（3）根据相机坐标系与机械手基础坐标系的转换关系，将相机坐标系下的坐标转换为机械手基础坐标系下的坐标，即机械手运动坐标。进一步地，步骤五中搭建的机械手手眼标定系统包括相机、机械手、控制柜和计算机，相机固定在机械手上，机械手与控制柜连接，控制柜和相机与计算机连接。本专利技术还提供了一种用于二维平面的眼在手上机械手手眼标定系统，包括相机、机械手、控制柜和计算机，用于采集机械手工作现场图像的相机固定在机械手上本文档来自技高网...

【技术保护点】
1.一种用于二维平面的眼在手上机械手手眼标定方法，其特征在于：包括以下步骤：/n步骤一、固定相机（3），改变二维标定板的位置、旋转角度和倾斜角度，通过相机（3）采集标定板图像，进行相机（3）标定获得相机（3）的内参与畸变参数；/n步骤二、将相机（3）固定在机械手（4）上，标定板固定于相机（3）外，改变机械手（4）的位姿，并使相机（3）采集标定板图像，通过手眼标定确定像素坐标系与机械手（4）基础坐标系的转换关系；/n步骤三、相机（3）采集机械手（4）工作现场图像，使用计算机（1）端软件获取工作现场图像，通过图像处理获得目标点的像素坐标；/n步骤四、根据步骤二中得到的像素坐标系与机械手（4）基础坐标系的转换关系将像素坐标转换为机械手（4）运动坐标；/n步骤五、搭建机械手（4）手眼标定系统，通过TCP通信将机械手（4）运动坐标传送给控制柜（2），编写机械手（4）控制程序，接收机械手（4）运动坐标并控制机械手（4）运动。/n

【技术特征摘要】
1.一种用于二维平面的眼在手上机械手手眼标定方法，其特征在于：包括以下步骤：
步骤一、固定相机（3），改变二维标定板的位置、旋转角度和倾斜角度，通过相机（3）采集标定板图像，进行相机（3）标定获得相机（3）的内参与畸变参数；
步骤二、将相机（3）固定在机械手（4）上，标定板固定于相机（3）外，改变机械手（4）的位姿，并使相机（3）采集标定板图像，通过手眼标定确定像素坐标系与机械手（4）基础坐标系的转换关系；
步骤三、相机（3）采集机械手（4）工作现场图像，使用计算机（1）端软件获取工作现场图像，通过图像处理获得目标点的像素坐标；
步骤四、根据步骤二中得到的像素坐标系与机械手（4）基础坐标系的转换关系将像素坐标转换为机械手（4）运动坐标；
步骤五、搭建机械手（4）手眼标定系统，通过TCP通信将机械手（4）运动坐标传送给控制柜（2），编写机械手（4）控制程序，接收机械手（4）运动坐标并控制机械手（4）运动。


2.根据权利要求1所述的用于二维平面的眼在手上机械手手眼标定方法，其特征在于：所述步骤一中通过相机（3）标定获得相机（3）内参和畸变参数的步骤是：世界坐标系的三维坐标点转换为相机（3）坐标系的三维坐标点，然后投影到图像物理坐标系，转化为二维点；二维点经过畸变矫正后得到二维坐标点；经过二次转换，被转化到像素坐标系上的二维坐标点。


3.根据权利要求1所述的用于二维平面的眼在手上机械手手眼标定方法，其特征在于：所述步骤二中通过手眼标定确定像素坐标系与机械手（4）基础坐标系的转换关系的具体步骤是：相机（3）固定在机械手（4）末端法兰上，将标定板固定在机械手（4）外；通过控制机械手（4）末端运动带动相机（3）移动，使标定板完整的出现在相机（3）视场的不同位置，相机（3）采集带有标定板的图像，并记录下每幅图像对应的机械手（4）工具在机械手（4）基础坐标系的位姿；通过标定算法建立像素坐标系与机械手（4）基础坐标系的转换关系的超定方程。


4.根据权利要求3所述的用于二维平面的眼在手上机械手手眼标定方法，其特征在于：所述像素坐标系与机械手（4）基础坐标系的转换关系的超定方程为：

（11）
其中，表示在相机（3）坐标系下标定板坐标系的位姿，表示在相机（3）坐标系下机械手（4）工具坐标系的位姿，表示在...

【专利技术属性】
技术研发人员：王福杰，俞恒杰，刘璐，管兰芳，郭彦青，史亚坤，孙文，王世杰，邱韵霖，
申请(专利权)人：中北大学，
类型：发明
国别省市：山西;14