【技术实现步骤摘要】
融合IMU标定的双目立体视觉测量方法与系统
本专利技术属于光电检测领域，特别是涉及一种适用于户外复杂环境下的融合IMU标定的双目立体视觉测量方法及系统。
技术介绍
双目立体视觉(BinocularStereoVision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。其具有效率高、精度合适、系统结构简单、成本低等优点，非常适合于制造现场的在线、非接触产品检测和质量控制；此外，对运动物体(包括动物和人体形体)测量中，由于图像获取是在瞬间完成的，因此立体视觉方法是一种更有效的测量方法。自上世纪的60年代中期开创以来，经过几十年来的发展，其在机器人视觉、航空测绘、逆向工程、军事运用、医学成像和工业检测等领域中的运用越来越广泛。使用双目立体视觉对被测物体进行三维形貌、变形测量之前需要对其标定，所以相机的标定在三维测量中扮演着重要的角色。相机标定本质是确定其内部参数和外部参数的过程，其中内部参数是相机组件的几何和光学特性，是相机本身固有的、与位置无关的内部几何与光学参数，包括主点坐标、等效焦距、比例因子以及镜头畸变等；而外部参数是指立体视觉系统中各相机之间的空间姿态关系，包括旋转矩阵和平移向量等。目前，双目相机的标定方法主要包括传统标定方法和自标定方法。传统标定方法需要借助制作精密的二维或三维标定物，该方法精度较高，但是由于其制作成本、操作灵活性、便携性等方面的限制，其通常仅限于在实验室内且视场较小的情况下被使用；自标定方法不需要借助标定靶，它通常是利用场景中...
【技术保护点】
1.一种融合IMU标定的双目立体视觉测量方法，其特征在于，所述方法包括以下步骤：步骤1：确定双目立体视觉中的两个相机的内部参数矩阵K和K′，优选利用张氏标定方法确定；内部参数包括但不限于：主点坐标(u0,v0)
【技术特征摘要】
1.一种融合IMU标定的双目立体视觉测量方法，其特征在于，所述方法包括以下步骤：步骤1：确定双目立体视觉中的两个相机的内部参数矩阵K和K′，优选利用张氏标定方法确定；内部参数包括但不限于：主点坐标(u0,v0)T、等效焦距fx和fy、镜头二阶径向畸变系数k1和k2以及比例系数等；对两个IMU的内部参数进行标定，以用于后续分析误差并建立误差补偿模型；步骤2：将两相机分别固定在三脚架的云台上，再将两IMU分别与两相机固连，相机与IMU的坐标轴平行地设置；并将相机和IMU均连接至电脑，以在电脑显示器上实时显示两相机的画面和两个IMU传感器的姿态信息；步骤3：将标定板并固定在光学平台上，激活IMU的所有轴，通过变换相机位置来采集并保存不同角度的标定板图像，同时记录IMU的数据，例如加速度计、陀螺仪等传感器的数据；可以再对另一个相机和IMU做同样的操作并记录数据；步骤4：对步骤3中采集的图片和记录的数据标定IMU1与相机1之间的空间变换矩阵Rc1-i1，同样的方法被使用确定IMU2与相机2之间的空间变换矩阵Rc2-i2；步骤5：使用偏航角角度差分的方法可以确定两个IMU偏航角的相对值；步骤6：通过两个IMU传感器提供的俯仰角α1和α2、滚转角β1和β2以及步骤5计算的偏航角和来计算两个IMU之间的空间转换矩阵Ri2-i1；步骤7：根据步骤4和步骤6得到的数据确定双目立体视觉两相机之间的旋转矩阵步骤8：使得控制包含有一个特征点的标定靶在两个相机共同的视场中随机地移动，两个相机同时采集和保存图像，直至标定靶均匀分布于整个视场；步骤9：计算确定两个相机拍摄的每一幅图片中标定靶中特征点的像素坐标，并将其分别表示为qi和qi′，其中i是标记点的数目i＝1,2,3...n；步骤10：利用对极几何原理确定双目立体视觉的基础矩阵F；步骤11：根据步骤1中获得的两个相机的内部参数矩阵K和K′按式5计算本质矩阵E：E＝K′TFK(5)其中，基本矩阵E＝[T]×R，T是两个相机坐标系之间缺少一个比例因子的平移向量，R是旋转矩阵，[T]×表示T的反对称矩阵；步骤12：计算双目立体视觉的平移向量t；步骤13：根据稀疏的光束平差法(SBA)对相机的内部参数、旋转矩阵以及平移向量进行优化，得到优化后的相机参数；根据双目立体视觉的内外参数，确定参考点在以左相机为世界坐标系下的三维坐标，根据内外参数计算每一个参考点三维坐标的重投影坐标；由于存在噪声，重投影点和真实图像点并不是完全重合的，较小的重投影误差会使图像点与重投影点之间产生更令人满意的单应关系，因此，使用重投影误差作为一个约束去优化相机的参数；对上述估计的内外参数进行全局优化，本发明利用多参数最小二乘拟合法对其进行优化；多参数最小二乘拟合法是一种全局的非线性优化方法，其优化的目标是最小化真实图像点与重投影点之间的几何距离之和；假设n个三维点在视图中可见，令为第j(j＝1...m)个点在图像i(i＝1...n)中的真实像素坐标，是与三维点pj的真实图像点对应的重投影点的坐标，则多参数最小二乘拟合法的目标优化函数可表达为：其中，A是相机的内部参数矩阵，D是镜头畸变，R和t分别为旋转矩阵和平移向量；通过计算所有参考点的重投影误差之和的最小值，得到最优的摄像机内外参数。2.根据权利要求1所述的方法，其特征在于，由于IMU提供的欧拉角中的偏航角是由其自身周边的地球磁场确认的，所以偏航角易受到它附近磁场的影响，也就是说即使两个IMU的坐标轴指向一个方向，由于每一个IMU周边磁场的不同会导致它们的偏航角不一样；但是，经过我们的实验验证，每一个IMU偏航角的相对值是精确的，所以可以使用角度差分的方法确定两个IMU偏航角的相对值；步骤5具体包括：步骤5.1：使得两个三脚架在相距一定距离的位置被固定，调整两个云台至水平，旋转云台使两个相机对视；步骤5.2：确认两相机严格对视后，分别记录两个IMU提供的z-y-x序列的欧拉角中的偏航角和步骤5.3：分别水平旋转两个云台直至两个相机的视场均对准待测量的构件，分别记录此时两个IMU提供的z-y-x序列的欧拉角中的偏航角和步骤5.4：分别计算两个IMU由步骤5.1时的姿态旋转至步骤5.2时的姿态时偏航角变化量，进而将两个IMU偏航角的相对值确定为同时，步骤6的空间转换矩阵Ri2-i1按式1计算；其中，RZ(η)、Ry(η)、Rx(η)分别为：3.根据权利要求2所述的方法，其特征在于，所述步骤12包括：步骤12.1：由步骤11获得的本质矩阵E和步骤7获得的旋转矩阵R，通过解线性方法程组得到缺一个比例因子的平移向量T＝[x0,y0,z0]T；步骤12.2：测量两个相机基线的长度为L，则比例因子为因此，平移向量t为：t＝sT。4.根据权利要求1-3任一项所述的方法，其特征在于，所述步骤10包括：步骤10.1：归一化匹配点步骤9中左右相机拍摄的两组特征点的齐次坐标存在一一对应的关系：在形成8点算法的线性方程组之前，图像点的一个简单的变换(平移或者尺度)将使这个问题的条件极大的改善，从而提高结果的稳定性，而且这种变换所增加的计算并不复杂；本发明使用的归一化变换方法是对每一幅图像作平移和缩放使得参考点的形心在坐标原点且点到原点的均方根(RMS)距离等于根据和变换图像坐标，其中T和T′是归一化变换，由平移和缩放组成；步骤10.2：求对应于归一化的匹配的基本矩阵根据对极几何原理基本矩阵满足式2的关系：假设和对应于归一化的匹配的基本矩阵为：对n个匹配点，等式(2)展开得式3：其中，f＝[f11f12f13f21f22f23f31f32f33]T；显然这是一个线性方程组，只需要8个以上的对应点，即可通过最小二乘法求解；由于8点算法是一个线性算法，给出的最小二乘法解有可能不满足基本矩阵秩为2的性质，因此应采取步骤强迫这种约束；假设8点算法通过的最小奇异值的奇异矢量确定最小二乘解为则奇异值分解(SVD)为对角矩阵D＝diag(r,s,t)，满足r≥s≥t，假设即可得到秩为2并使的Frobenius范数最小的步骤10.3：解除归一化归一化的8点算法求解双目立体视觉的基本矩阵矩阵F是对应于原始数据的基本矩阵；步骤10.4：随机抽样一致性算法优化基本矩阵在实际应用中，匹配点由于受到噪声影响存在误匹配，归一化的8点算法计算的基本矩阵估计值会因误匹配所产生误差而使估计值恶化；为了消除这一误差，本发明采用基于随机抽样一致性算法(RANSAC)并引入Sampson加权算子，以Sampson距离划分局内点和局外点来提高算法的鲁棒性...
【专利技术属性】
技术研发人员：张东升，冯威武，张国平，
申请(专利权)人：上海大学，
类型：发明
国别省市：上海,31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。