一种双目三维重建方法技术

本发明专利技术公开了一种双目三维重建方法，包括以下步骤：1)采用两台相同型号的图像采集设备采集待重构的物体的图像分别获得左图像和右图像；2)采用棋盘法标定所述图像采集设备，计算所述图像采集设备的内外参数和镜头畸变系数，对两图像分别进行处理，去除图像中的畸变；3)对步骤2)处理后的两图像进行特征提取，得到两幅图像的特征点；4)利用步骤3)中两幅图像中的特征点，进行特征点匹配，得到特征点对；5)对得到的特征点对，进行对极几何约束检测，去除误匹配的特征点对；6)利用保留的特征点对的二维坐标计算得到特征点对在世界坐标系中的对应点的三维坐标。本发明专利技术的三维重建方法，可有效降低非正常点，获得准确的三维重构模型。

【技术实现步骤摘要】

本专利技术涉及计算机视觉，特别是涉及一种双目三维重建方法。
技术介绍
三维模型重建是计算机视觉中一个非常重要的研究领域，已经开始被广泛应用于工业、医疗、娱乐三大领域。当前，三维模型重建，按照技术方法分为四大类，采用结构光重建方法、采用断层扫描的重建方法、采用飞行时间的重建方法、采用立体成像的重建方法。其中，立体成像重建方法主要分为两类，即采用单幅图像的重建方法和采用多幅图像的重建方法。采用单幅图像重建的方法可以归纳为shape from X类，如shape from contour(基于轮廓的重构)，shape from shading(基于阴影的重构)，shapefrom focusing(基于焦距的重构)。但采用单幅图像重建的方法，受制于图像信息量不足，图像深度还原准确度不足。采用多幅图像重建的方法可以避免这一问题。双目三维模型重建方法，即属于采用多幅图像的重构方法。通常的双目三维重建方法，基本过程包括：(1)图像采集、(2)特征提取、(3)特征匹配、(4)三维坐标计算，其重建后存在的问题是步骤(4)三维坐标计算中容易出现非正常点，进而影响三维模型重建效果。
技术实现思路
本专利技术所要解决的技术问题是：弥补上述现有技术的不足，提出一种双目三维重建方法，可有效降低非正常点，获得准确的三维重构模型。本专利技术的技术问题通过以下的技术方案予以解决：一种双目三维重建方法，包括以下步骤：1)采用两台相同型号的图像采集设备采集待重构的物体的图像分别获得左图像和右图像；2)采用棋盘法标定所述图像采集设备，计算所述图像采集设备的内外参数和镜头畸变系数，并根据所述内外参数和镜头畸变系数对两图像分别进行处理，去除图像中的畸变；3)对步骤2)处理后的两图像进行特征提取，得到两幅图像的特征点；4)利用步骤3)中两幅图像中的特征点，进行特征点匹配，得到特征点对；5)对步骤4)中得到的特征点对，进行对极几何约束检测，去除误匹配的特征点对；6)利用步骤5)后保留的特征点对的二维坐标计算得
到特征点对在世界坐标系中的对应点的三维坐标。本专利技术与现有技术对比的有益效果是：本专利技术的双目三维重建方法，通过进行特征点对的极几何匹配约束检测，标定不符合对极几何约束的特征点对为误匹配点，去除这些误匹配的特征点对后进行三维模型重构，从而有效降低误匹配率，减少三维坐标计算过程中的非正常点，得到较为准确的三维重构模型。【附图说明】图1是本专利技术具体实施方式的双目三维重建方法的流程图；图2是本专利技术具体实施方式的双目三维重建方法中所涉及的对极几何的原理示意图。【具体实施方式】下面结合具体实施方式并对照附图对本专利技术做进一步详细说明。本专利技术的构思是：双目三维模型重建方法中，三维模型重建主要的误差来自于三维模型中不符合实际情况的点。在重建过程中，特征提取过程容易受到环境中广泛存在的各种噪声及双镜头畸变校正误差影响，导致特征匹配过程中由于特征相似而出现误匹配，进而导致重构时出现上述不符合实际情况的点。本专利技术中通过采用对极几何约束检测，从而有效去除误匹配的特征点对。如图1所示，为本具体实施方式的三维模型重建方法的流程图，包括以下步骤：1)采用两台相同型号的图像采集设备采集待重构的物体的图像分别获得左图像和右图像。具体地，设置双目成像系统，图像采集设备可为相机或者投影仪。采集图像时，确保两台图像采集设备具有相同的CCD尺寸、相同镜头参数，其镜头水平平行放置，摆放时，镜头的光轴在同一平面内，且在平面内两镜头光轴之间的夹角小于等于30°，且采集的两图像中均包含所述待重构的物体。2)标定并校准：采用棋盘法标定所述图像采集设备，计算图像采集设备的内外参数和镜头畸变系数，并根据所述内外参数和镜头畸变系数对两图像分别进行处理，去除图像中的畸变。3)提取特征点：对步骤2)处理后的两图像进行特征提取，得到两幅图像的特征点。该步骤中，提取图像中的特征点，可采用亮度函数的自相关矩阵检测图像兴趣点作为特征点。具体地：每幅图像中，给定图像点(x，y)，其灰度值用I(x，y)表示，设定局部平移向量(Δx，Δy)，则自相关函数为：G(x,y)＝∑[I(x,y)-I(x+Δx,y+Δy)]2其中，[I(x,y)-I(x+Δx,y+Δy)]2为亮度图像梯度值。给定g(x,y)为高斯窗函数，则特征点检测函数为：R(Δx,Δy)＝∑g(x,y)[I(x,y)-I(x+Δx,y+Δy)]2在窗函数g(x,y)内，如果特征值R(Δx,Δy)大于设定阈值，则说明发现特征点。需说明的是，提取特征点的方法较多，不限于上述亮度函数的自相关矩阵检测方法，其它方法不再一一列举。4)匹配特征点：利用步骤3)中两幅图像中的特征点，进行特征点匹配，得到特征点对。例如可采用最近邻域匹配方法进行特征点匹配，得到特征点对。5)对步骤4)中得到的特征点对，进行极线约束检测，去除误匹配的特征点对。该步骤中，对前述匹配后得到的特征点对进行对极几何约束检测，去除由噪声或者畸变引起的不满足约束的特征点对，从而提高后续三维重建的准确性。本具体实施方式中，对极几何约束检测包含极线约束过程。具体地，判断特征点对中两个特征点的极线约束值是否均小于设定阈值，如是，则保留；如否，则为误匹配的特征点对。如图2所示，为三维重建方法中所涉及的对极几何的基本原理图。其中，m1，m2为匹配得到的一对特征点对，Xw为特征点对m1，m2在世界坐标系中的对应点，则点Xw在左右两视图图像中的投影点分别为m1，m2。x1-y1是左视图中的对极几何坐标系，x2-y2是右视图中的对极几何坐标系。L1、L2分别为两图像采集设备的镜头的光轴，O1、O2为镜头光心所在位置，e1、e2分别为O1、O2在另一视图中的投影点(也称极点)，即e1为O2在左视图图像中的投影点，e2为O1在右视图图像中的投影点。分别为极线，为基线。极线约束条件即是：点Xw在左视图图像上投影点m1在右侧视图图像上的投影点(设为m1′)必然在右侧视图极线上或与极线间隔一较短距离，点Xw在右视图图像上投影点m2在左侧视图图像上的投影点(设为m2′)必然在左侧视图极线上或与极线上间隔一较短距离。如果距离超出一定范围，
则视为误匹配的特征点对。根据对极几何原理，将特征点对m1，m2的坐标进行归一化，m1＝[xl,yl]T归一化为m2＝[xr,yr]T归一化为同理，将特征点在另一视图中的投影点坐标进行归一化，m1′、m2′归一化为将特征点对在世界坐标系中的对应点XW的三维坐标进行归一化，XW＝[X,Y,Z]T归一化为将投影点e1、e2的坐标也归一化为根据步骤2)校准及标定相机过程中得到的内外参数，内部参数中的基础矩阵F1、F2和外部参数矩阵Q1、Q2，可得如下关系式：根据图2所示位置关系可知，存在平面线性方程矩阵P1、P2使得：为便于计算，定义向量p1＝P1(1 1 0)T，p2＝P2(1 1 0)T，则得到特征点m1所在的左视图图像上极线值C1以及特征点所在的右视图图像上的极线值C2分别为：设定Cthres为极线约束阈值，当其满足C1≤Cthres，C2≤Cthres时，判定该特征点对满足极线约束，予以保留。反之，则认为该特征点对为误匹配特征点对，去除。综上，通过对极几何约束检测中极本文档来自技高网...

【技术保护点】
一种双目三维重建方法，其特征在于：包括以下步骤：1)采用两台相同型号的图像采集设备采集待重构的物体的图像分别获得左图像和右图像；2)采用棋盘法标定所述图像采集设备，计算所述图像采集设备的内外参数和镜头畸变系数，并根据所述内外参数和镜头畸变系数对两图像分别进行处理，去除图像中的畸变；3)对步骤2)处理后的两图像进行特征提取，得到两幅图像的特征点；4)利用步骤3)中两幅图像中的特征点，进行特征点匹配，得到特征点对；5)对步骤4)中得到的特征点对，进行对极几何约束检测，去除误匹配的特征点对；6)利用步骤5)后保留的特征点对的二维坐标计算得到特征点对在世界坐标系中的对应点的三维坐标。

【技术特征摘要】
1.一种双目三维重建方法，其特征在于：包括以下步骤：1)采用两台相同型号的图像采集设备采集待重构的物体的图像分别获得左图像和右图像；2)采用棋盘法标定所述图像采集设备，计算所述图像采集设备的内外参数和镜头畸变系数，并根据所述内外参数和镜头畸变系数对两图像分别进行处理，去除图像中的畸变；3)对步骤2)处理后的两图像进行特征提取，得到两幅图像的特征点；4)利用步骤3)中两幅图像中的特征点，进行特征点匹配，得到特征点对；5)对步骤4)中得到的特征点对，进行对极几何约束检测，去除误匹配的特征点对；6)利用步骤5)后保留的特征点对的二维坐标计算得到特征点对在世界坐标系中的对应点的三维坐标。2.根据权利要求1所述的双目三维重建方法，其特征在于：所述步骤5)中，对极几何约束检测包括极线约束检测：判断特征点对中两个特征点的极线约束值是否均小于设定阈值，如是，则保留；如否，则为误匹配的特征点对。3.根据权利要求2所述的双目三维重建方法，其特征在于：根据如下公式计算特征点对m1，m2的极线约束值C1，C2：C1=[P1(m2~′-e1~)]2/tr(p1p1T)C2=[P2(m1~′-e2~)]2/tr(p2p2T)]]>其中，表示对极几何中左视图中极点的归一化坐标，表示对极几何中右视图中极点的归一化坐标；根据如下公式计算得到：m2~′=F1Q1XW~m1~′=F2Q2XW~]]>F1，F2分别为步骤2)中计算得到的两台图像采集设备的内部参数中的基础矩阵，Q1，Q2分别为步骤2)中计算得到的两台图像采集设备的外部参数矩阵；Xw为特征点对m1，m2在世界坐标系中的对应点；为点Xw的三维坐标归一化后得到的矩阵；P1，P2根据如下方程求解得到计算得到：P1(m1~-e1~)=0P2(m2~-e2~)=0]]>为特征点m1的二维坐标归一化后得到的矩阵；为特征点m2的二维坐标归一化后得到的矩阵；向量p1＝P1(1 1 0)T，向量p2＝P2(1 1 0)T。4.根据权利要求1所述的双目三维重建方法，其特征在于：所述步骤5)中，对极几何约束检测还包括特征点的深度连续性检测：判断特征点对中两个特征点是否均满足深度连续条件，如是，则保留；如否，则为误匹配的特征点对。5.根据权利要求4所述的双目三维重建方法，其特征在于：根据如下公式计算特征点对m1，m2在选取的第s个特征方向的深度连续性检测值：Ds(xl,yl)=Σ1i=n[d(xl,yl)-d(xl+Δxi,yl+Δyi...

【专利技术属性】
技术研发人员：马建设，魏云峰，刘彤，苏萍，
申请(专利权)人：清华大学深圳研究生院，
类型：发明
国别省市：广东;44