一种基于表面定向优先的半全局立体匹配方法组成比例

本发明专利技术公开了一种基于表面定向优先的半全局立体匹配方法。其解决了现有立体匹配技术中存在的对于大型的没有纹理的室内场景的匹配效果不理想的问题，包括如下步骤：S1、SGM算法；S2、二维方向先验；S3、三维方向先验；S4、表面法线先验。本发明专利技术公开的方法即是在简单表面上的先验，也可以在含有斜面和较弱纹理的复杂场景的匹配中得到显著的改善。

A semi global stereo matching method based on surface orientation preference

The invention discloses a semi global stereo matching method based on surface oriented priority. It solves the problems that exist in the existing stereo matching technology for large non textured indoor scenes, including the following steps: S1, SGM algorithm; S2, two-dimensional direction prior; S3, three-dimensional direction prior; S4, surface normal prior. The method disclosed in this invention is a priori on a simple surface, and can also be significantly improved in the matching of complex scenes with oblique and weak texture.

【技术实现步骤摘要】
一种基于表面定向优先的半全局立体匹配方法
本专利技术涉及计算机视觉技术，具体涉及一种基于表面定向优先的半全局立体匹配方法。
技术介绍
立体匹配作为三维重建、立体导航、非接触测距等技术的关键步骤通过匹配两幅或者多幅图像来获取深度信息。并且广泛应用于，工业生产自动化、流水线控制、无人驾驶汽车(测距，导航)、安防监控、遥感图像分析、机器人智能控制等方面。虽然立体匹配应用广泛但是还有很多尚未解决的难题因此该技术成为了近年来计算机视觉领域广泛关注的难点和热点。随着社会的科技进步，立体匹配技术的发展日新月异，随着匹配算法精度与速度的提高，其应用场景进一步扩大。在此背景下，研究立体匹配变得意义非凡。立体匹配技术是计算机视觉中关键的研究问题之一。通常可以分为局部方法和全局方法。这两种方法都对观察到的世界进行了平滑的假设；前者通过在局部窗口中聚合匹配的成本，而后者通过一个平滑项来显式地将之前的表面强加到世界上。最简单和最常见的平滑假设是一阶，并指出两个相邻的像素最可能具有相同的深度。一阶的平滑假设引入了一个前平行的偏置。当场景中有足够的纹理时，这并不是问题，但是在没有纹理的倾斜的表面会产生错误，这在室内场景中通常是有问题的。因此针对现有的立体匹配技术中存在的对于大型的没有纹理的室内场景的匹配效果不理想的问题，本专利技术提出了一种基于表面定向优先的半全局立体匹配方法，其可以有效的改善上述问题。
技术实现思路
本专利技术所要解决的技术问题是，提出一种基于表面定向优先的半全局立体匹配方法，其可以解决现有匹配技术中存在的对于大型的没有纹理的室内场景的匹配效果不理想的问题。本专利技术解决上述技术问题所采用的方案是：一种基于表面定向优先的半全局立体匹配方法，包括以下步骤：S1、半全局匹配(SGM)算法；S2、二维方向先验；S3、三维方向先验；S4、表面法线先验。作为进一步优化，S1中的半全局算法其介于局部算法和全局算法之间，所谓半全局指的是算法既没有只考虑像素的局部区域，也没有考虑所有的像素点；半全局匹配(SGM)是一种广泛使用的立体匹配技术，其由Hirschmuller提出，它将局部方法的效率与全局方法的精度相结合，通过近似于二维MRF优化和几个一维的扫描线优化问题，可以通过动态规划得到有效的解决。研究表明，SGM是一种特殊的消息传递算法。虽然该方法适用于航拍图像和有纹理的户外场景，但对于大型的没有纹理的室内场景的效果却不太好。其原因是，该算法采用了一种简单的一阶平滑假设，这种平滑假设有利于前平行面。因此，它倾向于在弱纹理的倾斜面上产生与前平行的斑块，这在重建的表面上是失败的，特别是在匹配高分辨率图像的时候，会产生较大的“洞”。作为进一步优化，S2中内容具体如下：假设一实值的视差面S，在任何给定的像素点上，我们都想鼓励所有可能的差异；让r成为SGM的当前“全面的方向”，给定一个像素p和它的继任者p'＝p+r，栅格化表面S到整数的不一致；然后计算离散的视差步骤(或跳跃)用一个新的函数Vs替换了原来的平滑惩罚V它包含了视差跳跃:VS(dp,d′p)＝V(dp+jp,d′p)(3)在像素点处，j的值为非零，而Vs则倾向于采取这种差异步骤，并鼓励差异面与S保持平行。我们可以通过将跳跃j存储在偏移图像中来有效地计算Vs。由于跳跃依赖于方向r，所以需要四个不同的偏移图像，一个对应两个相反的方向。但是，我们不需要预先计算和存储所有四个偏移图像。相反，我们只需要存储在对每一对相反的方向运行扫描线优化之前，我们使用公式(7)和(8)生成相关的偏移图像。当反转方向时，我们会翻转偏移量的符号。作为进一步优化，S3中内容具体如下：在每个像素之前放松对单一方向的要求，并允许不同深度的多个重叠的表面假设。和之前一样，每个表面都应该先作为一个方向，但是应该影响所有附近的点(图2中S3)。假设在像素p中有K个不一致的表面对于给定的视差d，可以找到最接近的表面。然后，我们把它栅格化到整数的不一致再计算一下相邻像素之间的离散视差。然而，这一次，他们依赖于d。新的平滑惩罚项现在变成了VS(dp,d′p)＝V(dp+jp(dp),d′p)(7)为了有效地计算VS，我们将所有p和d的预计算值存储在一个辅助量中。这可以被看作是一个一维离散的Voronoi图，每个像素都是在体积的不对称轴上的。在每一列的值中，可以通过向前扫描和向后扫描来有效地计算，然后将所有的视差面呈现在这个像素的列中。作为进一步优化，S4中内容具体如下：我们已经考虑过使用视差曲面作为定向的先验。现在关注的是得到一个表面法线贴图，例如通过光度立体图或曼哈顿-世界先验获得的。这样的法线贴图可以在我们的SGM-P算法中使用。首先，我们不能直接使用方向，因为SGM-P需要一个可以被光栅化的实际表面。因此，正常的映射必须被集成。其次，我们需要区分场景空间(在欧氏世界坐标中)和视差空间。虽然表面法线贴图可以被认为是二维的，因为它对每个像素的单一表面方向进行编码，这个方向在场景空间中给出。推导出场景坐标下的表面法线和视差面的方向之间的关系。给定表面法向量在场景空间坐标下p(x，y，z)平面的切平面的方程是：在这里，hp对平面的未知深度进行了编码。在透视投影的情况下，有x＝uz/f和y＝vz/f的图像坐标(u，v)和在原点处的相机的焦距f取代了我们得到的这些值。对于立体对，有z＝bf/d，b和d分别是基线和视差。把z代入到公式(14)，得到了这个视差平面方程。视差平面的方向依赖于hp，它在场景空间中对切平面的深度进行编码。因此，一个有固定方向但未知深度的场景平面，会产生一组不一致的平面，其方向取决于相关的视差。为了在sgm-p中使用表面正常的先验，首先需要被集成到一个表面。在场景空间中使用最小二乘方法在场景投影模型中进行集成。结果是一个z面场景空间坐标，一开始是任意的深度。我们用适当的比例因子来缩放这个表面，然后转换成d，到达大致均匀的d表面覆盖全视差范围。最后，我们从这个家族中构建了一个偏移量，如前一节所描述的不同，在不同的视差面之前，产生了3D的方向。本专利技术的有益效果是：本专利技术即是在简单表面上的先验，也可以在含有斜面和较弱纹理的复杂场景的匹配中得到显著的改善。附图说明图1是本专利技术算法流程图。图2是SGM-P平滑项的图解。图3是曲面法线转化为视差方向先验图。具体实施方法为使本专利技术目的、技术方案和优点更加清楚明白，下面结合实施例，对本专利技术作进一步的详细说明，本专利技术的示意性实施方式及其说明仅用于解释本专利技术，并不作为对本专利技术的限定。参见图1-图3，一种基于表面定向优先的半全局立体匹配方法，包括如下步骤：S1、半全局匹配(SGM)算法对本专利技术实施例进行详细的说明之前，先对SGM算法进行简单介绍。半全局匹配(SGM)算法是一种有效的方法，用于近似能量最小化的二维MRF。Cp(d)是一元数据项，表示在d∈D＝{dmin,…,dmax}时匹配像素P的代价，V(d,d′)是一对平滑项，它对相邻的像素之间的视差进行了修正。具体来说，V实现了一阶平滑的假设。而不是最小化2DMRF，这是NP-hard问题，SGM有效地将公式(1)的一维版本最小化，通过动态规划，沿着8个方向前进。为每一个方向r，SGM计算一个聚合的匹配成本Lr(p，d)递归地从图本文档来自技高网...

【技术保护点】
1.一种基于表面定向优先的半全局立体匹配方法，其特征在于，包括以步骤：S1、SGM算法；S2、二维方向先验；S3、三维方向先验；S4、表面法线先验。

【技术特征摘要】
1.一种基于表面定向优先的半全局立体匹配方法，其特征在于，包括以步骤：S1、SGM算法；S2、二维方向先验；S3、三维方向先验；S4、表面法线先验。2.根据权利要求1书所述一种基于表面定向优先的半全局立体匹配的方法，其特征在于，S1中SGM算法的步骤如下：S11、SGM算法是一种有效的方法，用于近似能量最小化的二维MRF：Cp(d)是一元数据项，表示在d∈D＝{dmin,…,dmax}时匹配像素P的代价，V(d,d′)是一对平滑项，它对相邻的像素之间的视差进行了修正；V实现了一阶平滑的假设：而不是最小化2DMRF，这是NP-hard问题，SGM有效地将公式(1)的一维版本最小化，通过动态规划，沿着8个方向前进，获得8个聚合成本；S12、为每一个方向r，SGM计算一个聚合的匹配成本Lr(p，d)递归地从图像边界定义：8个聚合成本在每个像素上进行汇总，从而产生一个聚合的成本量：每个像素的最小值被选择为获胜的差距：8个Lr(p，d)的最小值的总和是一个较低的集合在总成本的最小值S(p，d)在每个像素点上，并定义一个不确定度作为两者之间的差值：直观上是在8个最低成本路径的位置上，Up将是0。3.根据权利要求书1所述的一种基于表面定向优先的半全局立体匹配方法，其特征在于，S2、二维方向先验，包括如下步骤：S21、假设得到一个实值的视差面S，让r成为SGM的当前“全面的方向”，给定一个像素p和它的继任者p'＝p+r，栅格化表面S到整数的不一致；然后计算离散的视差步骤：S22、用一个新的函数Vs替换原来的平滑惩罚V，它包含了视差跳跃：VS(dp,d′p)＝V(dp+jp,d′p)(9)在像素点处，j的值为非零，而Vs则倾向于采取这种差异步骤，并鼓励差异面与S保持平行，可通过将跳跃j存储在偏移图像中来有效地计算Vs；由于跳跃...

【专利技术属性】
技术研发人员：王国强，张斌，骞志彦，陈学伟，王旭东，
申请(专利权)人：视缘上海智能科技有限公司，
类型：发明
国别省市：上海,31