一种多线结构光双目视觉立体匹配方法和系统技术方案

一种多线结构光双目视觉立体匹配方法和系统，包括：左右相机构建双目视觉传感器，左相机与多线激光投射器组成左结构光传感器；多线激光投射器向被测物体投射多根光条，双目立体视觉传感器同时采集物体左右图像；基于Hessian矩阵法，提取左右图像的光条中心点坐标，构建左右光条中心点集；利用极线约束、光条点预定位方法以及光条点精确定位方法，获得左右图像中具有对应关系的光条集合；在具有对应关系的光条上，基于极线约束获取匹配点对；基于双目立体视觉测量模型重构匹配点对，从而获得光条中心特征点处的三维坐标。本发明专利技术能更加快速、准确的识别双目图像中的对应光条，并且当光条在双目图像上的分布出现变形、断裂和消失等情况时，依然能够获得正确的光条对应关系。系。系。

【技术实现步骤摘要】
一种多线结构光双目视觉立体匹配方法和系统


[0001]本专利技术涉及三维测量
，具体涉及一种多线结构光双目视觉立体匹配方法和系统。

技术介绍

[0002]近年来，随着计算机与制造技术迅猛发展，在一些行业领域中，如逆向工程、缺陷检测、生物医疗等行业，二维信息已经远远不能够满足人们的要求，在这种需求为驱动的背景下，各种三维测量技术迅猛发展。现代三维测量技术可以分为接触式测量和非接触式测量。
[0003]在接触式测量方法中，三坐标测量机是典型的接触式测量仪，但由于其需用探头接触待测物体的性质，在测量过程中可能会对待测物体造成破坏。并且其测量速度较慢，测量效率较低。非接触式测量包含基于光学、声学、电磁学等方法，其中，基于光学的视觉测量方法具有非接触、高分辨率、高速度等优点。
[0004]其中，基于线结构光的主动式三维测量技术，因其不依赖于被测物体表面的纹理特征以及不受被测环境照明条件的限制等原因，成为目前应用最广泛的三维形貌测量方法之一。光学投射器投射出激光平面，激光平面与物体表面相交形成光条，根据结构光视觉模型，可重建光条点处的三维坐标。根据结构光投射器所投射的光平面的数目，现有的线结构光测量方法可分为单线结构光与多线结构光测量方法。单线结构光系统结构简单，易于实现，但其主要缺点也十分明显：测量范围有限，测量效率低，对复杂物体存在测量盲区。因此，单线结构光测量系统仅适用于测量结构简单、没有遮挡的物体。相对于单线结构光，多线结构光可以一次重建出多根光条处的三维信息，测量速度更快，效率更高，因此尤其适用于复杂物体表面的三维重建。
[0005]虽然多线结构光带来了测量效率上的提高，但是同时也引入了一些问题。当多线结构光投射到被测物体上时，由于物体的调制，其在二维图像上的投影分布可能会出现弯曲、断裂和变形等现象。这就给双目图像光条中心点之间的匹配带来了诸多问题，在多线结构光三维测量中，如果错误匹配左右特征点，会导致重建出来的三维坐标错误，从而影响测量结果。对于多线结构光双目视觉三维测量系统而言，其难点在于如何快速获得唯一的匹配点对。
[0006]现有技术，如谢广辉等人在论文《一种光栅式双目立体视觉传感器光条匹配方法》中提出了一种将双目相机看作两个光栅结构光传感器，根据两光栅结构光传感器对不同光条测量结果之间的距离判断两光条是否匹配的方法，其算法本质思想是基于距离约束的枚举。虽然之后魏振忠等人在《光栅式双目立体视觉传感器的立体匹配方法》和《光栅式双目立体视觉传感器光条快速匹配算法》中优化了搜索算法，排除了冗余计算，大大减少了运算量，但在本质上其算法思想并没有发生改变，仍是对所提取到的所有的光条中心特征点进行遍历，通过最后的距离相似性来判断是否为正确的匹配点。并且，其对光条组合模式分析的方法是基于光条连续且清晰可见的前提，当被测物体表面具有深度突变的区域或者起伏
较大时，该方法会存在大量的误匹配情况。
[0007]综上，当被测物体具有复杂表面时，多线结构光在双目图像上的投影分布会出现变形、断裂和消失等情况，现有的多线结构光双目立体匹配方法鲁棒性较差，存在大量的误匹配，且所需计算数据量大，导致三维重构无法满足工程实践需求。

技术实现思路

[0008]为了克服现有技术的不足，本专利技术提供了一种多线结构光双目视觉立体匹配方法和系统，本专利技术的方法首先利用光条点预定位方法粗略寻找对应光条，再利用光条点精确定位方法和极线约束精炼结果，在具有唯一对应关系的光条上进行立体匹配。使用一种由粗到细的空间几何约束逐步精炼匹配结果，提高了立体匹配的效率和准确性，同时当光条在双目图像下出现变形、断裂、消失等情况时，依然能够获得正确的匹配结果。
[0009]本专利技术的技术方案如下：本专利技术的第一方面提供了一种多线结构光双目视觉立体匹配方法，所述方法包括如下步骤：步骤S100，左右相机构成双目立体视觉传感器，左相机与多线结构光投射器组成左结构光传感器；步骤S200，分别对双目立体视觉传感器、左结构光传感器进行标定，获得左右相机内参、外参、光平面参数方程，建立空间中结构光与图像中光条之间的关系，获得预定位线段集合；步骤S300，基于Hessian矩阵，对左右相机所拍摄的图像进行光条中心提取，分别获得左右光条中心点集；步骤S400，对左右图像进行连通域分析，获取每个光条中心点所对应的连通域，基于预定位线段集合，对左图像上提取到的光条中心点，寻找其位于右图像上的对应点位置，获取其光条点所在连通域所对应的位于右图像上的候选光条连通域以及候选光平面；步骤S500，基于步骤S400所获得的结果，基于空间点到光平面距离最小约束，进一步精炼光条匹配结果，最终获得具有唯一对应关系的光条对以及其所属光平面；步骤S600，基于步骤S500所获得的结果，在具有唯一对应关系的光条对上，基于极线约束计算得到匹配点，计算得到物体表面的三维坐标。
[0010]进一步的，步骤S200包括：步骤S210，分别对双目立体视觉传感器、左结构光传感器进行标定，获得左右相机内参、外参、光平面参数方程；步骤S220，建立空间中结构光与图像中光条之间的关系，在左右相机的景深范围内，寻找使多线结构光在图像上的投影光条端点为清晰可见的最近与最远的空间位置；记录最近与最远位置时结构光在图像上各投影光条中心点的像素坐标，将对应光条对应中心点连接起来，建立基于查找表的预定位线段集合。
[0011]进一步的，所述步骤S400包括：步骤S410，对左右图像进行连通域分析，获得每个光条中心点所属的连通域；步骤S420，在左图像一个光条连通域中，均匀选取光条中心点，对选取的每一个光条中心点，基于预定位线段集合，计算并存储符合条件的左图像预定位线段，相应的，其所
对应的右图像预定位线段与预定位线段所属光平面也随之获得；计算光条中心点所对应的极线，计算极线与预定位线段的交点，分析交点所属的右图像光条连通域，若交点位于右图像某一连通域中，则记录：对应的左图像光条中心点、右图像交点、交点所属光条连通域、所属光平面；遍历左图像所有光条连通域，由此获得了左图像光条所可能对应的所有右图像光条以及其相应的所属光平面。
[0012]进一步的，所述步骤S500包括：步骤S510，基于步骤S420所获得的结果，在左图像一个光条连通域中，基于三角法原理，分别计算其所对应的不同右图像交点的三维空间点坐标，通过右图像同一光条连通域下的交点所求得的三维点属于同一集合，对应不同右图像光条连通域下的交点所求得的三维点属于不同集合，遍历所有左图像光条连通域，由此获得左图像光条与其可能对应的右图像光条的所有三维空间点集合；步骤S520，基于步骤S510所获得的左图像所有光条所对应的三维空间点集合，计算集合中所有点到对应光平面之间的平均距离，若左图像光条所对应的多个右图像光条连通域属于同一光平面，则将其合并为同一集合，取其平均距离最小的集合作为候选集合，若此时的平均距离同时小于一定阈值，则视此时左右图像所对应的光条连通域为正确对应光条对，同时也可获得对应光平面。
[0013]进一步的，所述步骤本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多线结构光双目视觉立体匹配方法，其特征在于，所述方法包括如下步骤：步骤S100，左右相机构成双目立体视觉传感器，左相机与多线结构光投射器组成左结构光传感器；步骤S200，分别对双目立体视觉传感器、左结构光传感器进行标定，获得左右相机内参、外参、光平面参数方程，建立空间中结构光与图像中光条之间的关系，获得预定位线段集合；步骤S300，基于Hessian矩阵，对左右相机所拍摄的图像进行光条中心提取，分别获得左右光条中心点集；步骤S400，对左右图像进行连通域分析，获取每个光条中心点所对应的连通域，基于预定位线段集合，对左图像上提取到的光条中心点，寻找其位于右图像上的对应点位置，获取其光条点所在连通域所对应的位于右图像上的候选光条连通域以及候选光平面；步骤S500，基于步骤S400所获得的结果，基于空间点到光平面距离最小约束，进一步精炼光条匹配结果，最终获得具有唯一对应关系的光条对以及其所属光平面；步骤S600，基于步骤S500所获得的结果，在具有唯一对应关系的光条对上，基于极线约束计算得到匹配点，计算得到物体表面的三维坐标。2.根据权利要求1所述的多线结构光双目视觉立体匹配方法，其特征在于，对预处理模块进行标定步骤S200包括：步骤S210，分别对双目立体视觉传感器、左结构光传感器进行标定，获得左右相机内参、外参、光平面参数方程；步骤S220，建立空间中结构光与图像中光条之间的关系，在左右相机的景深范围内，寻找使多线结构光在图像上的投影光条端点为清晰可见的最近与最远的空间位置；记录最近与最远位置时结构光在图像上各投影光条中心点的像素坐标，将对应光条对应中心点连接起来，建立基于查找表的预定位线段集合。3.根据权利要求1所述的多线结构光双目视觉立体匹配方法，其特征在于，所述步骤S400包括：步骤S410，对左右图像进行连通域分析，获得每个光条中心点所属的连通域；步骤S420，在左图像一个光条连通域中，均匀选取光条中心点，对选取的每一个光条中心点，基于预定位线段集合，计算并存储符合条件的左图像预定位线段，相应的，其所对应的右图像预定位线段与预定位线段所属光平面也随之获得；计算光条中心点所对应的极线，计算极线与预定位线段的交点，分析交点所属的右图像光条连通域，若交点位于右图像某一连通域中，则记录：对应的左图像光条中心点、右图像交点、交点所属光条连通域、所属光平面；遍历左图像所有光条连通域，由此获得了左图像光条所可能对应的所有右图像光条以及其相应的所属光平面。4.根据权利要求3所述的多线结构光双目视觉立体匹配方法，其特征在于，所述步骤S500包括：步骤S510，基于步骤S420所获得的结果，在左图像一个光条连通域中，基于三角法原理，分别计算其所对应的不同右图像交点的三维空间点坐标，通过右图像同一光条连通域下的交点所求得的三维点属于同一集合，对应不同右图像光条连通域下的...

【专利技术属性】
技术研发人员：孙军华，徐新琪，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：