一种基于空间距离和极线约束的机械臂手眼标定方法技术

本发明专利技术公开了一种基于空间距离和极线约束的机械臂手眼标定方法。求解手眼转换矩阵的初始值，获得机械臂在两个不同位置时固定在机械臂上的相机的转换关系，通过相机的内参计算图像中特征点的极线误差，并对特征点进行三维重建，计算重建后的特征点间的空间距离，根据实际的空间距离计算空间距离误差，将所有特征点的极线误差和空间距离误差的累加和作为优化目标函数，使用列文伯格‑马夸尔特算法进行迭代优化，获得更高精度的手眼转换矩阵。本发明专利技术能构造更符合实际需求的优化目标函数，使得通过手眼转换矩阵计算出的空间尺寸和实际更相吻合，提高迭代优化的收敛速度以及保证优化后的参数满足对极几何约束，精度更高。

A Manipulator Eye Calibration Method Based on Spatial Distance and Polar Constraints

The invention discloses a hand-eye calibration method of a manipulator based on space distance and epipolar constraint. Solving the initial value of hand-eye conversion matrix, obtaining the conversion relationship of the camera fixed on the manipulator at two different positions, calculating the polar error of the feature points in the image through the camera's internal parameters, and reconstructing the feature points in three dimensions, calculating the space distance between the reconstructed feature points, calculating the space distance error according to the actual space distance, and then calculating all the feature points. The sum of epipolar error and spatial distance error is taken as the objective function of optimization, and Levenberg-Marquart algorithm is used for iterative optimization to obtain more accurate hand-eye conversion matrix. The invention can construct an optimization objective function that is more in line with the actual demand, make the space size calculated by hand-eye conversion matrix more consistent with the actual situation, improve the convergence speed of iterative optimization and ensure that the optimized parameters meet the polar geometric constraints with higher accuracy.

【技术实现步骤摘要】
一种基于空间距离和极线约束的机械臂手眼标定方法
本专利技术涉及了一种视觉标定方法，涉及一种基于空间距离和极线约束的机械臂手眼标定方法，适用于机械臂和相机融合的机器人视觉引导系统，涉及机械臂视觉装配、机械臂辅助手术以及机械臂视觉检测等

技术介绍
相机和机械臂融合的、基于视觉引导的机械臂控制系统由于可以提高生产的柔性、自动化和智能化程度，近几年来在自动化生产线、医疗手术以及某些不存在人工操作条件的场合发挥着越来越重要的作用。固定在机械臂末端执行器上的相机可用来完成目标检测任务，检测的结果大多是在相机坐标系下的。因此需要求取高精度的手眼转换矩阵，使得检测结果由相机坐标系转换到机械臂坐标系下，从而可控制机械臂根据检测结果进行相应的运动。由于手眼标定是机械臂利用机器视觉进行后续一系列操作的基础，因此学者们在手眼标定领域展开了大量的研究。HanqiZhuang于1994年在《IEEETransactionOnRoboticsAndAutomation》上的论文“SimultaneousRobot/WorldandTool/FlangeCalibrationbySolvingHomogeneousTransformationEquationsoftheFormAX＝YB”中构造手眼标定的AX＝YB的数学模型，应用四元数代数对该模型进行线性求解。由于Zhuang将首先求取手眼转换矩阵中的旋转参数，再将求解得到的旋转参数作为已知量求解手眼转换矩阵中的平移参数，这样会导致旋转参数的误差直接传递到平移参数，从而影响最终的标定结果。AiguoLi于2010年在《InternationalJournalofthePhysicalSciences》上的论文“Simultaneousrobot-worldandhand-eyecalibrationusingdual-quaternionsandKroneckerproduct”使用对偶四元数以及克罗内克积这两种运算方法分别求解手眼标定方程AX＝YB，尽管两种方法均可求取手眼转换矩阵的解析解，该论文的实验结果表明，采用克罗内克积求解的手眼转换矩阵更为精确。NicolasAndreff于2011年在“3dimIEEEComputerSociety”上发表的论文“On-lineHand-EyeCalibration”中考虑使用AX＝XB的手眼标定数学模型，并根据克罗内克积的运算性质，将手眼标定数学模型转换为MX＝N的矩阵等式，并通过SVD分解求取手眼转换矩阵X。由于该方法同时求解出手眼转换矩阵的旋转和平移参数，有效避免了由旋转参数到平移参数的误差传递。MiliShah于2013年在《JournalofMechanismsandRobotics》上的论文“SolvingtheRobot-World/Hand-EyeCalibrationProblemUsingtheKroneckerProduct”同样是致力于求取手眼标定方程AX＝YB的解析解。首先利用克罗内克积求解手眼转换矩阵中的旋转参数，之后通过矩阵运算，利用旋转参数求解平移参数。由于平移参数是在旋转参数的基础上计算所得，因此这种方法同样会产生误差传递。AmyTabb于2017年在《MachineVisionandApplications》上的论文“Solvingtherobot-worldhand-eye(s)calibrationproblemwithiterativemethods”总结分析了当前求取手眼转换矩阵的解析解的几种常用的计算方法，包括四元数法、对偶四元数法以及克罗内克积法，由于通过这些方法求取的解析解依赖手眼标定数学模型中的输入量的准确度，易受噪声影响，从而导致在实际应用中误差较大。因此需要对求解得到的解析解施加合理的约束，以优化手眼转换矩阵的参数，从而得到高精度、鲁棒性强的手眼转换矩阵。在手眼转换矩阵的参数优化方面，现有的手眼标定方法大致采用两类优化目标函数。第一种优化目标函数构造方法是根据手眼标定的数学模型，最小化‖AX-YB‖2，从而求解得到的手眼转换矩阵尽可能的满足等式AX＝YB，这种方法同样是过于依赖输入参数A和B的精度。另一种优化目标函数构造方法是通过求解得到的手眼转换矩阵反推相机的投影矩阵A，并通过A计算图像上特征点的重投影误差，之后优化手眼转换矩阵中的参数使得重投影误差最小化，得到更高精度的手眼转换矩阵，比如XiangyangZhi在“2017IEEE/RSJInternationalConferenceonIntelligentRobotsandSystems”上发表的论文“SimultaneousHand-EyeCalibrationandReconstruction”中的方法。尽管这种方法考虑到了使用图像信息来优化矩阵参数，但实际应用中，往往保证三维信息的精度更为重要。目前，现有的手眼标定算法缺少在实际三维层面的约束信息，未将空间尺寸信息以及空间投影几何应当满足的约束信息融合到参数优化的过程中。
技术实现思路
为了解决
技术介绍
中存在的问题，本专利技术的目的在于提供一种基于空间距离和极线约束的机械臂手眼标定方法，构造更符合实际需求的优化目标函数，即使得通过手眼转换矩阵计算出的空间尺寸和实际更相吻合。另外根据对极几何原理对手眼标定时移动到不同位置的相机施加极线约束，提高迭代优化的收敛速度以及保证优化后的参数满足对极几何约束。综合利用空间距离约束和极线约束来对手眼转换矩阵进行迭代优化，获得更满足实际需求且精度更高的手眼转换矩阵。本专利技术所采用的技术方案它包括以下步骤：本专利技术中需要建立四个坐标系：机械臂底座坐标系、末端执行器坐标系、相机坐标系、标定板坐标系。机械臂底座坐标系、末端执行器坐标系、相机坐标系、标定板坐标系分别是以机械臂底座中心、末端执行器中心、相机光心、标定板中心为坐标系原点建立的三维坐标系。(1)机械臂包括机械臂底座和末端执行器，末端执行器安装于机械臂底座，末端执行器安装有相机，机械臂位于标定板上方，标定板表面具有国际象棋黑白棋盘格图案，通过控制末端执行器移动相机拍摄标定板的完整图像；使用张正友标定法对固定在机械臂的末端执行器上的相机进行标定，获得相机的内参矩阵K和畸变系数D，移动末端执行器使得相机在n个不同拍摄位置朝向同一标定板拍摄，标定板保持不动，n>4，这n个位置进行编号分别定义为位置1、位置2、…、位置n；记录相机在这n个不同位置时控制器上显示的末端执行器的位姿，再处理获得机械臂底座坐标系到末端执行器坐标系的转换矩阵Bi；(2)采用哈里斯角点检测算法提取n张图像中国际象棋黑白棋盘格图案上的特征点，即位于国际象棋黑白棋盘格图案中每个正方形的四个角上的点，也即正方形之间的交叉点；然后，根据相机的畸变系数D，采用无畸变递归求解方法对提取到的特征点进行畸变矫正，获得无畸变特征点mo及其图像坐标；所述的无畸变递归求解方法采用Heikkila在《IEEETransactionsonPatternAnalysisandMachineIntelligence》期刊上发表的论文“Geometriccameracalibrationusingcircularcontrolpoints本文档来自技高网...

【技术保护点】
1.一种基于空间距离和极线约束的机械臂手眼标定方法，其特征在于包括以下步骤：(1)机械臂包括机械臂底座和末端执行器，末端执行器安装于机械臂底座，末端执行器安装有相机，机械臂位于标定板上方，标定板表面具有国际象棋黑白棋盘格图案，通过控制末端执行器移动相机拍摄标定板的完整图像；对固定在机械臂的末端执行器上的相机进行标定，获得相机的内参矩阵K和畸变系数D，移动末端执行器使得相机在n个不同拍摄位置朝向同一标定板拍摄，n>4，这n个位置进行编号分别定义为位置1、位置2、…、位置n；记录相机在这n个不同位置时末端执行器的位姿，再处理获得机械臂底座坐标系到末端执行器坐标系的转换矩阵Bi；(2)提取n张图像中国际象棋黑白棋盘格图案上的特征点，即位于国际象棋黑白棋盘格图案中每个正方形的四个角上的点；然后，根据相机的畸变系数D，采用无畸变递归求解方法对提取到的特征点进行畸变矫正，获得无畸变特征点mo及其图像坐标；(3)使用张正友标定法计算机械臂在步骤(1)中n个不同位置时相机的外参数矩阵，即标定板坐标系到相机坐标系的转换矩阵Ai；机械臂的末端执行器分别在位置2、位置3、…、位置n时和位置1之间形成了相机之间的n‑1组不同位置组合，再计算机械臂的末端执行器分别在不同位置组合下两个位置之间的相机坐标系转换矩阵Ci＝Ai+1A1‑1以及末端执行器坐标系转换矩阵Di＝Bi+1B1‑1，其中i＝1,2,…,n‑1；然后根据所有相机坐标系转换矩阵Ci和末端执行器坐标系转换矩阵Di采用基于克罗内克积的矩阵运算方法求解方程CiX0＝X0Di，获得机械臂的手眼转换矩阵的初始值X0；(4)利用由步骤(3)获得的手眼转换矩阵的初始值X0采用以下公式进行反推计算获得各个不同位置组合下两个不同拍摄位置的相机之间的相对位置转换矩阵C′i：C′i＝X0DiX0‑1根据以下公式将相对位置转换矩阵C′i分解为由相对位置转换矩阵C′i的旋转矩阵...

【技术特征摘要】
1.一种基于空间距离和极线约束的机械臂手眼标定方法，其特征在于包括以下步骤：(1)机械臂包括机械臂底座和末端执行器，末端执行器安装于机械臂底座，末端执行器安装有相机，机械臂位于标定板上方，标定板表面具有国际象棋黑白棋盘格图案，通过控制末端执行器移动相机拍摄标定板的完整图像；对固定在机械臂的末端执行器上的相机进行标定，获得相机的内参矩阵K和畸变系数D，移动末端执行器使得相机在n个不同拍摄位置朝向同一标定板拍摄，n>4，这n个位置进行编号分别定义为位置1、位置2、…、位置n；记录相机在这n个不同位置时末端执行器的位姿，再处理获得机械臂底座坐标系到末端执行器坐标系的转换矩阵Bi；(2)提取n张图像中国际象棋黑白棋盘格图案上的特征点，即位于国际象棋黑白棋盘格图案中每个正方形的四个角上的点；然后，根据相机的畸变系数D，采用无畸变递归求解方法对提取到的特征点进行畸变矫正，获得无畸变特征点mo及其图像坐标；(3)使用张正友标定法计算机械臂在步骤(1)中n个不同位置时相机的外参数矩阵，即标定板坐标系到相机坐标系的转换矩阵Ai；机械臂的末端执行器分别在位置2、位置3、…、位置n时和位置1之间形成了相机之间的n-1组不同位置组合，再计算机械臂的末端执行器分别在不同位置组合下两个位置之间的相机坐标系转换矩阵Ci＝Ai+1A1-1以及末端执行器坐标系转换矩阵Di＝Bi+1B1-1，其中i＝1,2,…,n-1；然后根据所有相机坐标系转换矩阵Ci和末端执行器坐标系转换矩阵Di采用基于克罗内克积的矩阵运算方法求解方程CiX0＝X0Di，获得机械臂的手眼转换矩阵的初始值X0；(4)利用由步骤(3)获得的手眼转换矩阵的初始值X0采用以下公式进行反推计算获得各个不同位置组合下两个不同拍摄位置的相机之间的相对位置转换矩阵C′i：C′i＝X0DiX0-1根据以下公式将相对位置转换矩阵C′i分解为由相对位置转换矩阵C′i的旋转矩阵和相对位置转换矩阵C′i的平移矩阵两部分组成的矩阵表达：根据双目视觉中基础矩阵的定义，通过旋转矩阵和平移矩阵构建获得基础矩阵Fi；(5)步骤(3)中，每一个位置组合下对应获得一对图像，计算每对图像中无畸变特征点的极线误差，所有极线误差的累加和记为Jepi，具体计算公式为：式中，为第i对图像中的其中一副图像上的第j个无畸变特征点的齐次坐标，为第i对图像中的另外一副图像上的第j个无畸变特征点的齐次坐标，d(*,*)2代表两个坐标的几何距离的平方，i表示图像对的序号，j表示矫正后的无畸变特征点的序号，Fi表示第i对图像对应的基础矩阵，m为每张图像中棋盘格特征点的总数，T表示矩阵转置；(6)针对每组位置组合，建立投影矩阵：针对每i组位置组合，令其中处于位置1的相机的投影矩阵为Ri1＝K[I3×303×1]，使得另一位置的相机的投影矩阵为K表示相机内参矩阵；根据相机投影映射关系，无畸变特征点mo的图像坐标和其对应的空间坐标M满足其中P是相机的投影矩阵，为无畸变特征点的齐次坐标；然后建立如下的映射关系矩阵：其中，pi11为投影矩阵...

【专利技术属性】
技术研发人员：段桂芳，刘夏，刘振宇，谭建荣，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33