一种双目立体相机与惯性测量单元相对姿态标定方法技术

本发明专利技术公开了一种简单可行的基于绝对重力方向的立体相机与惯性测量单元相对姿态标定方法。该方法使用重力方向向量作为参考向量，分别求取出重力方向向量在相机坐标系下与IMU坐标系下的表示，得到同一向量在两个不同坐标系下的表示，就可以求解出两个坐标系之间的姿态变化关系。最后，通过重投影误差进行精度校验，给出该标定方法在视觉里程计中的一种应用。实验表明，该方法可以准确的解算出相机与IMU之间的相对姿态。该方法可以用来辅助移动机器人、球形机器人视觉定位。

【技术实现步骤摘要】

：本专利技术是涉及双目立体视觉及惯性测量单元的相对姿态的标定方法，该方法可以辅助视觉定位，为视觉传感器与IMU信息融合提供必要的条件。
技术介绍
：在球形机器人、无人机导航、运动捕捉以及增强现实等领域中，经常将相机与惯性测量单元绑定在一个运动物体上，通过对两者信息的融合，确定出一个较精确的位姿。双目立体视觉模拟人类双眼处理景物的方式对空间点进行定位，可以很好地解决非线性误差，是其中一个重要研究方向。但仅仅依靠视觉信息实现机器人的自主定位等功能，有一定的缺陷，如传统的视觉里程计以相机的初始坐标系作为定位坐标系，当相机安装不平行于地面时，会导致垂直方向上定位不准确，可以使用IMU信息，给出全局参考坐标系，使定位结果更加准确。传统的相机与惯性测量单元标定方法有以下几点：(1)Mirzaei和Roumeliotis提出了一种使用扩展卡尔曼滤波器求取摄像机-IMU间的相对位姿的方法需要用到特定的标定板，当系统初始误差和噪声较大时，计算结果的精度较低。(2)Kelly和Sukhatme提出了一种基于无迹卡尔曼滤波器的传感器位姿标定方法，不需要特定的标定板，但重力加速度对标定精度有一定影响，当对大地坐标系下的重力加速度进行估计时，模型的准确度有限，故对标定精度有一定影响。(3)Johnson等使用高精度3D激光扫描仪辅助求取摄像机-IMU相对位姿关系，但激光扫描仪一般较昂贵。(4)Lang和Pinz，根据手眼标定方程，提出了一种受限的非线性优化算法，可用于计算相机和IMU之间的旋转变化角度[5]。该方法中假定摄像机与IMU位置十分相近，忽落了两者之间的相对位置关系，但该假设是不成立的，对传感器数据融合的结果有一定的影响。(5)Lobo和Dias使用两个完全独立的步骤标定摄像机与IMU之间的位置关系与姿态关系。将IMU固定在一个可旋转的平台上，执行规定的运动，由手眼标定的方法得出摄像机与IMU之间的位置关系。该方法需要用到重物和旋转台，仪器安装的精度直接影响标定结果。如何让得到简便精确的求取相机坐标系与IMU坐标系的相对姿态关系以辅助双目立体视觉定位成为本专利申请人关注和研究的新课题。
技术实现思路
：本专利技术的目的在于解决现有的视觉里程计中存在的问题，提出一种双目立体相机与IMU相对姿态标定方法。标定系统由支架，重物，细线，双目立体相机与IMU组成。IMU与相机固连在一起，两传感器处于相对静止的状态，如图1所示。本专利技术的技术方案包括以下步骤：1：用已标定好的双目相机，进行左右图像连续采集。得到左图像与右图像中，细线的直线方程。2：根据双目测距原理，测得细线在相机坐标系下的表示，单位化后即机坐标系下的重力方向向量。3：静止状态下，惯性测量单元所测得的加速度即为重力加速速，单位化后就得到惯性测量单元在IMU下的表示。4：使相机与IMU固连单元以不同的姿态，静止于细线前方，多采集几组数据，重复步骤2与步骤3。5：计算出相机坐标系与IMU坐标系间的姿态关系。6：时间同步，由于IMU采集频率高于双目立体相机，故需要时间同步。本专利技术的优点在于：1)本专利技术通过细线确定绝对重力方向，减少了由于重力方向不准确带来的误差。2)求解旋转四元数过程中，使用了RANSIC算法，去除噪声较大的实验数据，增加了系统的鲁棒性。3)本文充分运用了已标定的双目立体相机可以直接测得空间一点在相机坐标系下的三维坐标的优势，更准确的确定了像机坐标系下的绝对重力方向。附图说明：图1是相机-陀螺仪标定系统示意图图2是双目测距原理示意图图3是本专利技术中定义的各个坐标系图4相机坐标系下重力方向向量表示具体实施方式：下面结合说明书附图对本专利技术方法做详细说明：步骤1：对双目摄像机进行标定，获取相机内外参数，包括：焦距f，基线长度b，图像中心像素位置u0，v0，整幅图像的校正矩阵等，相机的内参数矩阵:步骤2：开启双目相机，进行左右图像连续采集，利用步骤1获取的相机参数对图像进行校正。步骤3：得到左图像与右图像中，细线的直线方程。步骤3-1：可以使用霍夫变换或者手动选取细线端点的方法，获得直线方程，得到细线端点的像素坐标两个点(u1l,v1l)与点(u2l,v2l)，可以求解出视差d＝xl-xr使用立体几何原理求得像素点对应的三维坐标值，其计算公式为：步骤3-2：将相机坐标系下，细线方向向量单位化，就得到相机坐标系下重力方向向量的表示。步骤4：通常惯性测量单元的加速度计测得的加速度a由重力向量g和系统自身加速度ab两部分组成：a＝-g+ab。在IMU静止或匀速运动的情况下，测得的加速度为重力加速度，将IMU所测得的加速度信息单位化后，即得到重力方向向量在IMU坐标系下的表示。测得重力加速度单位化公式为：步骤5：重复步骤二与步骤三，多采集几组数据，提高系统的鲁棒性。步骤6：解算IMU坐标系与相机坐标系之间的旋转四元数，假设Igi为第i次测得的重力方向在IMU坐标系下的单位向量，Cgi为第i次测得的重力方向在相机坐标系下的单位向量。现假设四元数表示从{I本文档来自技高网...

【技术保护点】
一种双目立体相机与惯性测量单元相对姿态标定方法，其特征在于，包括以下步骤：步骤一：对双目摄像机与IMU固连在一起，对双目摄像机进行标定。步骤二：将双目摄像机与IMU固连静止放置在细线前，开启相机与IMU，同时采集图像与IMU数据。步骤三：根据双目测距原理，测得细线在相机坐标系下的表示，单位化后即机坐标系下的重力方向向量。步骤四：静止状态下，惯性测量单元所测得的加速度即为重力加速速，单位化后就得到惯性测量单元在IMU下的表示。步骤四：使相机与IMU固连单元以不同的姿态，静止于细线前方，多采集几组数据，重复步骤二、步骤三与步骤四。步骤五：计算出相机坐标系与IMU坐标系间的姿态关系。步骤六：时间同步，有系统时间，进行时间同步。

【技术特征摘要】
1.一种双目立体相机与惯性测量单元相对姿态标定方法，其特征在于，包括以下步骤：
步骤一：对双目摄像机与IMU固连在一起，对双目摄像机进行标定。
步骤二：将双目摄像机与IMU固连静止放置在细线前，开启相机与IMU，同时采集图像与IMU
数据。
步骤三：根据双目测距原理，测得细线在相机坐标系下的表示，单位化后即机坐标系下的重
力方向向量。
步骤四：静止状态下，惯性测量单元所测得的加速度即为重力加速速，单位化后就得到惯性
测量单元在IMU下的表示。
步骤四：使相机与IMU固连单元以不同的姿态，静止于细线前方，多采集几组数据，重复步
骤二、步骤三与步骤四。
步骤五：计算出相机坐标系与IMU坐标系间的姿态关系。
步骤六：时间同步，有系统时间，进行时间同步。
...

【专利技术属性】
技术研发人员：叶平，贾庆轩，孙汉旭，高树会，窦仁银，杨俊锋，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京;11