一种基于自然场景的机器人手眼标定方法技术

本发明专利技术公开了一种基于自然场景的机器人手眼标定方法，包括三个部分：首先，利用SFM解算定义在一个尺度因子基础上的相机外参数；然后，消除尺度因子，建立改进的手眼标定方程，引入矩阵直积理论参数化标定方程中的旋转矩阵和平移向量；最后，通过最小二乘方法同时求解手眼关系及机器人坐标系与世界坐标系方位关系。本发明专利技术的方法基于运动恢复结构算法（Structure From Motion,SFM）求解相机外参数，能够摆脱传统机器人手眼标定过程中对平面靶标的依赖，通过矩阵直积参数法求解消除尺度因子后的手眼标定方程，避免了尺度因子对标定方程求解精度的影响，扩展了手眼标定的应用范围。

A Robot Eye Calibration Method Based on Natural Scene

The invention discloses a method for robot hand-eye calibration based on natural scenes, which includes three parts: first, using SFM solution to define out-of-camera parameters on the basis of a scale factor; secondly, eliminating the scale factor, establishing an improved hand-eye calibration equation, introducing the rotation matrix and translation vector in the matrix direct product theory to parameterize the calibration equation; finally, through the minimum two. The multiplication method solves the hand-eye relationship and the orientation relationship between the robot coordinate system and the world coordinate system at the same time. The method of the present invention solves the camera parameters based on the structure from Motion (SFM) algorithm, which can get rid of the dependence of the traditional robot hand-eye calibration process on the plane target, and solves the hand-eye calibration equation after eliminating the scale factor by the matrix direct product parameter method, avoiding the influence of the scale factor on the accuracy of the solution of the calibration equation, and expands the application of hand-eye calibration. Range.

【技术实现步骤摘要】
一种基于自然场景的机器人手眼标定方法
本专利技术涉及工业机器人视觉标定
，尤其涉及一种基于自然场景的机器人手眼标定方法，可以用于关节臂坐标测量机、机器人手术、移动机器人

技术介绍
自从1966年世界上第一台具有视觉传感器的智能机器人Shakey诞生以来，视觉传感器广泛应用于机器人自主避障和导航，医疗手术，汽车制造等领域。在利用机器人视觉系统进行自主作业时，需要将摄像机固定在机器人手臂的末端执行器上构成手眼系统，通过视觉传感器给机器人运动控制系统提供眼的功能。评估上述机器人视觉系统测量精度的关键步骤之一是准确地测算出机器人坐标系与视觉传感器坐标系间的相对方位关系，即手眼标定问题。目前大部分手眼标定方法都是通过精确标定的参照物(如棋盘格靶标)求解相机外参数，具有代表性的方法有Zhuang等的线性二分法、Horaud等的单位四元数法、Shah等的矩阵直积法、Daniilidis和Ulrich等的对偶四元数法、Li等的基于李群李代数的概率统计法、Heller等的全局优化方法、Wu等双臂协作机器人的同步标定方法以及Amy等的多相机迭代法。然而，在一些特殊应用领域，例如移动机器人和手术机器人，考虑到载重和无菌条件限制，很难通过传统的标定参照物完成手眼标定过程，鉴于此，Andreff等提出一种不需要标定参照物的手眼标定改进方法，利用SFM方法，直接从自然场景中获得缺失尺度因子的相机外参数，将未知的尺度因子与手眼关系一同代入手眼标定方程进行求解。近年来，这种不需要标定参照物的手眼标定改进方法获得学者们的普遍重视。例如，在Andreff的手眼标定模型基础上，Schmidt等提出基于对偶四元数扩展的非线性最优化法，Heller和陈明伟等提出基于二阶锥规划的全局优化方法、Pachtrachai等提出的基于计算机辅助设计(ComputerAidedDesign，CAD)导入模型的微创手术机器人手眼标定方法。然而，这些方法只能计算手眼关系和尺度因子，不能同时求解出机器人坐标系与世界坐标系方位关系，且受特征点匹配误差和空间尺度因子大小变化的影响，基于SFM场景重建的手眼标定方法往往精度较低，不能满足移动机器人和手术机器人视觉导航和定位日益增长的精度需求。针对上述问题，本文提出一种基于自然场景的机器人手眼标定方法。
技术实现思路
本专利技术的目的是提出一种基于自然场景的机器人手眼标定方法，该方法通过SFM算法进行自然场景重建，在不需要计算尺度因子的前提下，利用矩阵直积法同时求解机器人手眼关系以及机器人坐标系与世界坐标系方位关系，从而扩展手眼标定问题的应用领域。为实现上述专利技术目的，本专利技术的技术方案是：一种基于自然场景的机器人手眼标定方法，包括以下步骤：S1、通过SFM算法进行自然场景重建，设定旋转误差阈值，利用自适应RANSAC算法对标定数据集Cn中的相机外参数进行预筛选；S2、对手眼标定方程A(s)X＝YB作等价变换，消除标定方程中尺度因子s，利用矩阵直积法把手眼标定方程中矩阵的乘积表示为矩阵与向量的乘积，将S1中筛选出的满足误差阈值要求的相机外参数代入参数化的手眼标定方程，建立齐次线性方程组；S3、采用奇异值分解对S2中参数化的手眼标定方程进行求解，得到满足齐次线性方程的解向量值x，然后对其加入正交和单位约束得到正确的手眼关系X以及机器人坐标系与世界坐标系方位关系Y。本专利技术基于运动恢复结构算法(StructureFromMotion,SFM)求解相机外参数，能够摆脱传统机器人手眼标定过程中对陶瓷棋盘格平面靶的依赖，通过矩阵直积参数法求解消除尺度因子后的手眼标定方程，避免了尺度因子对标定方程求解精度的影响。本专利技术利用SFM解算定义在一个尺度因子基础上的相机外参数；然后，消除尺度因子，建立改进的手眼标定方程，引入矩阵直积理论参数化标定方程中的旋转矩阵和平移向量；最后，通过最小二乘方法同时求解手眼关系及机器人坐标系与世界坐标系方位关系。附图说明图1是本专利技术基于自然场景的机器人手眼标定方法的流程图；图2是A(s)X＝YB手眼标定基本原理示意图；图3是手眼标定实验装置图；图4是机器人手眼标定中使用的平面标靶参照物；图5是机器人手眼标定中使用的书本参照物；图6是机器人手眼标定中使用的雕像参照物；图7是SFM算法进行自然场景重建效果图。具体实施方式下面将结合附图对本专利技术实施例中的技术方案进行清楚、完整地描述。如图1所示，一种基于自然场景的机器人手眼标定方法，其特征在于，包括以下步骤：S1、通过SFM算法进行自然场景重建，如图2所示，设定旋转误差阈值，利用自适应RANSAC算法对标定数据集Cn中的相机外参数进行预筛选；相机外参数包括摄像机坐标系到参考物世界坐标系的变换矩阵Ai中的旋转部分相机外参数RAi、机器人工具坐标系到机器人基坐标系的变换矩阵Bi中的旋转部分相机外参数RBi，RAi、RBi的筛选方法具体包括：S1.1、将摄像机固定在机器人末端执行器上，采集标定数据，利用机器人带动摄像机每次选取N个不同位姿对陶瓷棋盘格平面靶拍照成像，两两进行组合可以得到M＝N(N-1)/2组标定数据集Cn，利用线性方法求解手眼标定矩阵中的旋转部分RX和RY；S1.2、建立标定数据旋转误差筛选模型：其中，eR为误差阈值；S1.3、利用自适应RANSAC算法对标定数据集Cn中相机外参数RAi、RBi进行预筛选。具体包括：设定最少数据点n＝2，设定满足误差阈值eR要求的内点比例初值wO＝0.5，K次抽样中所有样本均为坏样本的概率z＝0.02，旋转误差阈值初值eR＝0.01，终止RANSAC抽样的条件为满足误差阈值eR的标定数据集CX≥9，采用自适应算法抽样并更新wO和eR，直到标定数据集CX≥9，记下此时的角度阈值eh，终止抽样，将筛选得到的标定数据集CX代入S2。S2、对手眼标定方程A(s)X＝YB作等价变换，消除标定方程中尺度因子s，利用矩阵直积法把手眼标定方程中矩阵的乘积表示为矩阵与向量的乘积，将S1中筛选出的满足误差阈值要求的相机外参数代入参数化的手眼标定方程，建立齐次线性方程组；具体包括：如图2所示，定义A为参照物世界坐标系到摄像机坐标系的变换矩阵，B表示为机器人工具坐标系到机器人基坐标系的变换矩阵，X表示摄像机坐标系到机器人工具坐标系的变换矩阵，Y表示机器人基坐标系到参照物世界坐标系的变换矩阵，则手眼标定方程可以表示为：A(s)X＝YB式(1)中，A、B、X和Y都为4×4的矩阵，展开为旋转矩阵和平移向量的形式为：由式(2)可知，标定方程中只有平移向量部分受尺度因子s的影响，将平移向量部分等式两边都乘以反对称矩阵消去尺度因子s可得：其中则式(2)中的手眼标定方程可以变换为：将式(3)中的矩阵乘积表示为矩阵直积的形式，建立齐次线性方程组：式(4)中，W(A,B)为18×24矩阵；x为齐次线性方程组解向量值，为24×1的向量；vec(R)为向量化算符，可以表示为：其中，r11、r12、…、r1n、r21、r22、…、rnm代表R3×3矩阵中的每一个元素。S3、采用奇异值分解对S2中参数化的手眼标定方程进行求解，得到满足齐次线性方程的解向量值x，然后对其加入正交和单位约束得到正确的手眼关系X以及机器人坐标系与世界坐标系方位关系Y；具体包括：设本文档来自技高网...

【技术保护点】
1.一种基于自然场景的机器人手眼标定方法，其特征在于，包括以下步骤：S1、通过SFM算法进行自然场景重建，设定旋转误差阈值，利用自适应RANSAC算法对标定数据集C

【技术特征摘要】
1.一种基于自然场景的机器人手眼标定方法，其特征在于，包括以下步骤：S1、通过SFM算法进行自然场景重建，设定旋转误差阈值，利用自适应RANSAC算法对标定数据集Cn中的相机外参数进行预筛选；S2、对手眼标定方程A(s)X＝YB作等价变换，消除标定方程中尺度因子s，利用矩阵直积法把手眼标定方程中矩阵的乘积表示为矩阵与向量的乘积，将S1中筛选出的满足误差阈值要求的相机外参数代入参数化的手眼标定方程，建立齐次线性方程组；S3、采用奇异值分解对S2中参数化的手眼标定方程进行求解，得到满足齐次线性方程的解向量值x，然后对其加入正交和单位约束得到正确的手眼关系X以及机器人坐标系与世界坐标系方位关系Y。2.如权利要求1所述的一种基于自然场景的机器人手眼标定方法，其特征在于，所述S1中相机外参数包括摄像机坐标系到参考物世界坐标系的变换矩阵Ai中的旋转部分相机外参数RAi、机器人工具坐标系到机器人基坐标系的变换矩阵Bi中的旋转部分相机外参数RBi，RAi、RBi的筛选方法具体包括：S1.1、将摄像机固定在机器人末端执行器上，采集标定数据，利用机器人带动摄像机每次选取N个不同位姿对陶瓷棋盘格平面靶拍照成像，两两进行组合可以得到M＝N(N-1)/2组标定数据集Cn，利用线性方法求解手眼标定矩阵中的旋转部分RX和RY；S1.2、建立标定数据旋转误差筛选模型：其中，eR为误差阈值；S1.3、利用自适应RANSAC算法对标定数据集Cn中相机外参数RAi、RBi进行预筛选。3.如权利要求2所述的一种基于自然场景的机器人手眼标定方法，其特征在于，所述S1.3具体包括：设定最少数据点n＝2，设定满足误差阈值eR要求的内点比例初值w0＝0.5，K次抽样中所有样本均为坏样本的概率z＝0.02，旋转误差阈值初值eR＝0.01，终止RANSAC抽样的条件为满足误差阈值eR的标定数据集CX≥9，采用自适应算法抽样并更新w0和eR，直到标定数据集CX≥9，记下此时的角度...

【专利技术属性】
技术研发人员：董明利，李巍，祝连庆，娄小平，潘志康，樊凡，孟晓辰，
申请(专利权)人：北京信息科技大学，
类型：发明
国别省市：北京,11