一种基于光束平差的机器人方位与手眼关系同时标定方法技术

本发明专利技术公开了一种基于光束平差的机器人方位与手眼关系同时标定方法，包括以下步骤：通过单目立体视觉算法对检测目标进行三维重建，获得缺失尺度因子α的摄像机外参数矩阵；利用机器人运动学方程获得机器人运动方位矩阵；利用矩阵直积参数法表示A(α)X＝ZB标定方程，求解机器人方位与手眼关系初值；利用光束平差优化模型对机器人方位与手眼关系初值以及单目立体视觉算法得到的三维重建结果一同进行迭代优化。本发明专利技术提供的基于光束平差的机器人方位与手眼关系同时标定方法，基于光束平差模型，能够在求解机器人方位与手眼关系同时对目标进行精确三维定位，在摆脱了对靶标的依赖的同时也实现了检测目标的精确定位，进而赋予智能机器人感知与定位的功能。

【技术实现步骤摘要】
一种基于光束平差的机器人方位与手眼关系同时标定方法
本专利技术涉及工业机器人视觉标定
，特别是涉及一种基于光束平差的机器人方位与手眼关系同时标定方法。
技术介绍
模拟人的视觉功能，从客观世界的图像中提取有效信息进行处理并加以理解是仿生视觉一个主要研究目的，其促使智能机器人可以通过视觉传感器感知三维环境信息的能力，并根据自身需要将这些信息传递到最终执行机构完成手眼协调任务。自从1966年世界上第一台具有视觉传感器的智能机器人Shakey诞生以来，视觉传感器广泛应用于机器人自主避障和导航、医疗手术、汽车制造等领域。在利用机器人视觉系统进行自主作业时，需要将摄像机与机器人手臂连接一起构成手眼系统，即通过视觉传感器给机器人运动控制系统提供眼的定位功能。评估上述机器人视觉系统测量精确度的关键步骤之一是准确地测算出机器人坐标系与视觉传感器坐标系间的相对方位关系，即智能机器人手眼标定问题。该问题当前主流数学模型主要有以下3种：1)AX＝XB标定模型，该模型通过平面靶标来确定摄像机运动位姿矩阵A，利用机器人运动学模型得到工具坐标系到基坐标系的变换矩阵B，从而得到摄像机坐标系与机器人工具坐标系的手眼变换矩阵X；2)AX＝ZB标定模型，该模型在利用平面靶标求解手眼关系X时，也可以同时求解标定方程中机器人基坐标系和世界坐标系方位关系Z；3)A(α)X＝XB或A(α)X＝ZB标定模型，该模型在缺失靶标的情况下可以利用运动恢复结构算法(SFM)得到缺失尺度因子α摄像机运动位姿矩阵A(α)，然后利用非线性优化方法对标定方程中尺度因子α和手眼关系X，由于在标定模型求解过程多引入一个尺度因子α为待求参数，造成方程求解精度不稳定，因此第三种无靶标参照物手眼标定模型精度较前两种标定模型往往准确性较低，不能满足当前智能机器人视觉导航和定位日益增长的准确性需求。因此，在没有靶标作为参照物的情况下，如何消除尺度因子对手眼标定模型的影响是当前扩展手眼标定方法应用范围的难点。此外，考虑到手眼标定的目的是让机器人准确感知周围三维环境信息，赋予机器人眼的定位功能，因此还有必要在求解机器人和摄像机手眼关系的同时对目标在世界坐标系下进行精确三维定位。
技术实现思路
本专利技术的目的是提供一种基于光束平差的机器人方位与手眼关系同时标定方法，基于光束平差算法，能够在求解机器人和摄像机手眼关系的同时对目标进行精确三维定位，在摆脱了对靶标的依赖的同时也实现了检测目标在世界坐标系下定位，真正赋予机器人眼的定位功能。为实现上述目的，本专利技术提供了如下方案：一种基于光束平差的机器人方位与手眼关系同时标定方法，该方法包括以下步骤：S1，通过单目立体视觉SFM算法进行三维重建，利用RANSAC数据筛选算法对相机外参数标定数据进行阈值自适应筛选；S2，对手眼标定方程A(α)X＝ZB做等价变换，消除标定方程中尺度因子α，利用矩阵直积法建立齐次线性方程组，代入筛选后的标定数据，进行奇异值分解，得到机器人方位与手眼关系初值；S3，利用光束平差优化模型对机器人方位与手眼关系初值以及单目立体视觉算法得到的三维重建结果一同进行迭代优化；S4，判断是否满足设定的迭代终止条件，如果满足，则终止迭代，同时输出机器人方位和手眼关系矩阵以及检测目标的三维空间点坐标；S5，利用PUMA560运动学模型建立机器人和摄像机运动轨迹仿真系统，模拟检测目标世界坐标系、机器人基坐标系、机器人工具坐标系以及摄像机坐标系四者之间的空间变换关系，验证标定方法的精度和鲁棒性。可选的，所述步骤S2，对手眼标定方程A(α)X＝XB做等价变换，消除标定方程中尺度因子α，利用矩阵直积法建立齐次线性方程组，代入筛选后的标定数据，进行奇异值分解，得到机器人方位和手眼关系初值，具体包括：S201，设A表示参照物世界坐标系到不同姿态的摄像机坐标系的变换矩阵，B表示为不同姿态的机器人工具坐标系到机器人基坐标系的变换矩阵，机器人手眼关系X以及机器人坐标系与世界坐标系方位关系Z，则传统手眼标定方程表示为：AX＝ZB；考虑到尺度因子α，将传统手眼标定方程转化为：A(α)X＝ZB(1)其中A、X、Z、B都为4×4的矩阵；S202，对A(α)X＝ZB解耦展开成旋转和平移分开的形式为：RARX＝RZRBRAtX+αtA＝RZtB+tZ(3)式中，RA,RX,RZ,RB分别表示A、X、Z、B变换矩阵中的旋转部分，tA,tX,tZ,tB分别表示A、X、Z、B变换矩阵中的平移部分；S203，由式(3)可知，标定方程中只有平移向量部分受尺度因子α的影响，将平移向量部分等式两边都乘以平移向量tA的反对称矩阵消去尺度因子α可得：其中，平移向量tA的反对称矩阵为S204，利用矩阵直积表示方法，将上式(4)用矩阵直积表示为：对上式齐次线性方程组进行奇异值分解，最小特征值对应的特征向量v即为对应方程的解。可选的，所述步骤S3，利用光束平差优化模型对机器人方位与手眼关系初值以及单目立体视觉算法得到的三维重建结果一同进行迭代优化，具体包括：S301，建立光束平差优化模型的目标函数：式中，定义n帧图像，每帧图像含m个特征点，设xij表示第i个三维特征点在第j张像平面对应的特征点坐标，λij用来判别三维特征点i在第j张像平面上是否有投影，如果有λij＝1，否则λij＝0，Aj表示图像坐标系到世界坐标系的刚体变换矩阵，即相机外参数，Gi表示世界坐标系下空间特征点三维坐标，Pj(·)表示透视投影矩阵，即相机内参数，表示使用中心投影法将摄像机坐标系下三维特征点投影到第j张像平面坐标系下；S302，由传统手眼标定方程AX＝ZB可知，相机的外参数由已知机器人的运动位姿表示为Aj＝ZBjX-1，则公式(10)目标函数重新表示为：S303，利用公式(11)作为最小化目标函数，在整个迭代优化过程中，设置相机的内参数和机器人的运动位姿为不变量，只对手眼关系X，机器人坐标系与世界坐标系方位关系Z以及空间特征点三维坐标G进行迭代优化，手眼关系X和机器人坐标系与世界坐标系方位关系Z包含6个旋转变量和6个平移变量，同时每个特征点三维坐标Gi包含3个位置变量，因此公式(11)总共有3m+12个参数需要迭代优化。可选的，所述步骤S4中，设定的迭代终止条件，具体为：设置前后两次迭代计算得到的手眼关系平移向量或重建三维点坐标向量的变化值不大于10-3mm为迭代终止条件。可选的，所述步骤S5中，利用PUMA560运动学模型建立机器人和摄像机运动轨迹仿真系统，模拟检测目标世界坐标系、机器人基坐标系、机器人工具坐标系以及摄像机坐标系四者之间的空间变换关系，验证标定方法的精度和鲁棒性，具体包括：仿真系统中给定手眼关系X以及机器人方位关系Z真值，利用PeterCorkeroboticstoolbox和Cameracalibrationtoolbox工具箱模拟生成了50个本文档来自技高网...

【技术保护点】
1.一种基于光束平差的机器人方位与手眼关系同时标定方法，其特征在于，包括以下步骤：/nS1，通过单目立体视觉SFM算法进行三维重建，利用RANSAC数据筛选算法对相机外参数标定数据进行阈值自适应筛选；/nS2，对手眼标定方程A(α)X＝ZB做等价变换，消除标定方程中尺度因子α，利用矩阵直积法建立齐次线性方程组，代入筛选后的标定数据，进行奇异值分解，得到机器人方位与手眼关系初值；/nS3，利用光束平差优化模型对机器人方位与手眼关系初值以及单目立体视觉算法得到的三维重建结果一同进行迭代优化；/nS4，判断是否满足设定的迭代终止条件，如果满足，则终止迭代，同时输出机器人方位和手眼关系矩阵以及检测目标的三维空间点坐标；/nS5，利用PUMA560运动学模型建立机器人和摄像机运动轨迹仿真系统，模拟检测目标世界坐标系、机器人基坐标系、机器人工具坐标系以及摄像机坐标系四者之间的空间变换关系，验证标定方法的精度和鲁棒性。/n

【技术特征摘要】
1.一种基于光束平差的机器人方位与手眼关系同时标定方法，其特征在于，包括以下步骤：
S1，通过单目立体视觉SFM算法进行三维重建，利用RANSAC数据筛选算法对相机外参数标定数据进行阈值自适应筛选；
S2，对手眼标定方程A(α)X＝ZB做等价变换，消除标定方程中尺度因子α，利用矩阵直积法建立齐次线性方程组，代入筛选后的标定数据，进行奇异值分解，得到机器人方位与手眼关系初值；
S3，利用光束平差优化模型对机器人方位与手眼关系初值以及单目立体视觉算法得到的三维重建结果一同进行迭代优化；
S4，判断是否满足设定的迭代终止条件，如果满足，则终止迭代，同时输出机器人方位和手眼关系矩阵以及检测目标的三维空间点坐标；
S5，利用PUMA560运动学模型建立机器人和摄像机运动轨迹仿真系统，模拟检测目标世界坐标系、机器人基坐标系、机器人工具坐标系以及摄像机坐标系四者之间的空间变换关系，验证标定方法的精度和鲁棒性。


2.根据权利要求1所述的基于光束平差的机器人方位与手眼关系同时标定方法，其特征在于，所述步骤S2，对手眼标定方程A(α)X＝XB做等价变换，消除标定方程中尺度因子α，利用矩阵直积法建立齐次线性方程组，代入筛选后的标定数据，进行奇异值分解，得到机器人方位和手眼关系初值，具体包括：
S201，设A表示参照物世界坐标系到不同姿态的摄像机坐标系的变换矩阵，B表示为不同姿态的机器人工具坐标系到机器人基坐标系的变换矩阵，机器人手眼关系X以及机器人坐标系与世界坐标系方位关系Z，则传统手眼标定方程表示为：AX＝ZB；考虑到尺度因子α，将传统手眼标定方程转化为：
A(α)X＝ZB(1)
其中A、X、Z、B都为4×4的矩阵；
S202，对A(α)X＝ZB解耦展开成旋转和平移分开的形式为：
RARX＝RZRB
RAtX+αtA＝RZtB+tZ(3)
式中，RA,RX,RZ,RB分别表示A、X、Z、B变换矩阵中的旋转部分，tA,tX,tZ,tB分别表示A、X、Z、B变换矩阵中的平移部分；
S203，由式(3)可知，标定方程中只有平移向量部分受尺度因子α的影响，将平移向量部分等式两边都乘以平移向量tA的反对称矩阵消去尺度因子α可得：



其中，平移向量tA的反对称矩阵为



S204，利用矩阵直积表示方法，将上式(4)用矩阵直积表示为：



对上式齐次线性方程组进行奇异值分解，最小特征值对应的特征向量v即为对应方程的解。


3.根据权利要求1所述的基于光束平差的机器人方位与手眼关系同时标定方法，...

【专利技术属性】
技术研发人员：李巍，张立国，张旗，安成刚，李会祥，王增志，吴程飞，张志强，史明亮，
申请(专利权)人：廊坊和易生活网络科技股份有限公司，
类型：发明
国别省市：河北;13