基于捆绑约束的分级优化立体匹配方法组成比例

本发明专利技术属于立体图像领域，为实现得到目标场景准确的视差图，更好的处理立体匹配问题，并且能够得到更加准确的视差信息，在计算机视觉和机器人应用领域具有非常好的应用前景。本发明专利技术采用的技术方案是，基于捆绑约束的分级优化立体匹配方法，(1)首先通过ASW局部立体算法得到初始视差图；(2)结合图像一致性约束和几何连续性约束对视差图进行优化，以实现对图像噪声和遮挡区域边界更好的处理；(3)利用图像分割的方法获取需要局部优化的图像和视差图信息；(4)通过二次表面差值的方法对局部视差进行优化得到最终的视差图。本发明专利技术主要应用于立体图像处理。

【技术实现步骤摘要】

本专利技术属于立体图像领域，涉及计算机视觉领域，特别涉及一种立体图像的视差深度图重建方法。具体讲,涉及基于捆绑约束的分级优化立体匹配方法。
技术介绍
自由视点电视作为目前最流行的多视点图像应用，打破了传统单视点电视只能通过摄像机的角度观看的限制，能够提供给用户自由选择观看角度的能力，给使用者带来不同于传统媒体的新体验。如今已经被广泛使用。然而，自由视点的视频为了能够给用户带来如同现实世界中的体验，需要所有能够观察到的视点的视频信息。实际操作中由于空间资源有限导致只能使用有限数量的摄像机，难以获取如此多的视点的视频信息。为此研究人员开发出了一系列替代的方法，利用虚拟视点合成技术产生虚拟视点，或者利用有限的真实视点，通过图像到图像的映射产生中间视点的信息。由于这些技术的应用，使得自由视点技术不再需要大量的摄像机。其中，对于立体相机来说，图像到图像的映射方法，既是立体匹配。深度信息的获取是计算机视觉领域的关键问题，也是立体匹配要解决的主要问题。一个先进的计算机视觉系统能够为高分辨率图像的每个像素提供准确的颜色和深度信息。这类系统主要用于解决自动化视觉问题，特别是在机器人导航、语义感知操控和远程监控等领域，以及为室内环境建立密集的三维视图。立体匹配算法，即通过计算两个或多个位于不同位置的相机拍摄的图片中的对应像素的视差信息，再利用视差和深度的对应关系计算得到图像的深度信息。立体匹配是计算机视觉中的一个重要的研究领域。文献[1][2]概述了现有的技术，并阐述了立体匹配以及三维重建技术近年来的研究进展。其中提到的基于贪婪算法的区域搜索算法具有较快的匹配速度，但在弱纹理和模糊表面区域的重建效果并不理想。另一类全局算法将立体匹配的问题转化为单一目标的最优化问题，通过图像的相似性概率和表面平滑度的先验信息构建马尔科夫(MRF)能量函数，并求解其最小值的过程。全局算法解决了区域算法中的一些难以解决的问题，能够对弱纹理区域和模糊表面区域实现较准确的匹配，但它的计算复杂度非常高，通常一个MRF能量函数的优化过程是一个NP难度(NP-hard)问题。图像噪声，弱纹理区域和遮挡区域是立体匹配目前面临的主要问题。已有的立体匹配算法都有一定的局限性，因为其中大部分算法默认图像中颜色相同的相邻区域属于相同的视差平面，距离越近的像素属于同一视差平面的可能性越大。然而，当待匹配图像中具有较多的与拍摄平面不平行的倾斜表面或高曲率的表面时，上述假设会对匹配结果产生较大的误导，使得最终的结果出现较多错误。为了解决上述问题，X.Sun和X.Mei在文献[17]中提出一种通过在代价空间传递视差信息的局部立体匹配问题方法，实现了立体匹配的实时性。Y.Wang和E.Dunn在文献[18]中提出一种新的高效立体图像视差估计框架，将空间平滑假设应用与立体问题中，并重新定义平滑约束。C.Pham和J.Jeon[19]提出一种降维局部代价聚合方法，可以降二维的滤波窗口转换成一维的数字序列，与传统的二维滤波算法相比明显减低了计算复杂度和内存的消耗。J.Jiao和R.Wang[20]提出一种基于Census变换(一种应用于图像的非参量变换方法)[28]、绝对截断误差和、颜色梯度相结合的代价聚合方法，并且提出一种后处理方法用来消除初始视差图中的误差点。自适应支持权值立体匹配算法具有边缘保留和高时间复杂度的特点。E.Psota和J.Kowalczuk[10]提出一种基于自适应权值算法的结果的迭代优化方法，通过优化能够消除窗口匹配的误差，并且不增加计算复杂度。C.Cigla和Q.Yang[12,14]提出一种时间复杂度恒定的边缘感知立体匹配算法，该方法根据支持区域和递归权重自适应的调整窗口的大小。N.Einecke和J.Eggert[15]提出使用各向异性中值滤波法对立体视差图进行优化的方法。其中各向异性中值滤波的思路来源于一般中值滤波去和边缘保留滤波去的结合。
技术实现思路
为克服现有技术的不足，本专利技术旨在提出一种新的立体匹配方法，主要针对传统立体匹配算法在弱纹理区域和遮挡区域无法正常匹配的问题，提出的方法能够得到目标场景准确的视差图，更好的处理立体匹配问题，并且能够得到更加准确的视差信息，在计算机视觉和机器人应用领域具有非常好的应用前景。本专利技术采用的技术方案是，基于捆绑约束的分级优化立体匹配方法，(1)首先通过ASW局部立体算法得到初始视差图；(2)结合图像一致性约束和几何连续性约束对视差图进行优化，以实现对图像噪声和遮挡区域边界更好的处理；(3)利用图像分割的方法获取需要局部优化的图像和视差图信息；(4)通过二次表面差值的方法对局部视差进行优化得到最终的视差图。(1)通过ASW局部立体算法得到初始视差图具体步骤是，给定一对校正的立体图像Ir表示右视点视图、Il表示左视点视图，首先使用自适应支持权值算法获得初始视差图，自适应支持权值算法为当前窗口内的每个像素赋予权值，权值大小取决于目标像素与窗口中心像素的空间距离和CIElab颜色空间中的颜色距离相关，其中CIElab颜色空间是一种区别于RGB的颜色空间，它是一种与设备无关的基于生理特征的颜色系统，能够用数字化的方法来描述人的视觉感应，像素的原始匹配代价可以通过截断绝对误差(TAD)进行计算，对应点p'c(i,j-d+d')的代价和为窗口所有像素的加权代价和对权值的总和进行归一化计算，其中i、j为像素的坐标值，d、d’为图像的视差偏移计算公式如下：其中E(pc,qc)是对应(pc,qc)的总代价，pc,qc分别为左右视图的对应像素，Wl,Wr分别为以pc,qc为中心的支持窗口，pi,qi分别为落在Wl,Wr中的像素，ωl(pi,pc)和ωr(qi,qc)分别为pi,qi的加权系数，e0(pi,qi)为pi,qi的初始匹配代价，在(2)中{r,g,b本文档来自技高网...

【技术保护点】
一种基于捆绑约束的分级优化立体匹配方法，其特征是，(1)首先通过ASW局部立体算法得到初始视差图；(2)结合图像一致性约束和几何连续性约束对视差图进行优化，以实现对图像噪声和遮挡区域边界更好的处理；(3)利用图像分割的方法获取需要局部优化的图像和视差图信息；(4)通过二次表面差值的方法对局部视差进行优化得到最终的视差图。

【技术特征摘要】
1.一种基于捆绑约束的分级优化立体匹配方法，其特征是，(1)首先通过ASW局部立体算法得到初始视差图；(2)结合图像一致性约束和几何连续性约束对视差图进行优化，以实现对图像噪声和遮挡区域边界更好的处理；(3)利用图像分割的方法获取需要局部优化的图像和视差图信息；(4)通过二次表面差值的方法对局部视差进行优化得到最终的视差图。2.如权利要求1所述的基于捆绑约束的分级优化立体匹配方法，其特征是，(1)通过ASW局部立体算法得到初始视差图具体步骤是，给定一对校正的立体图像Ir表示右视点视图、Il表示左视点视图，首先使用自适应支持权值算法获得初始视差图，自适应支持权值算法为当前窗口内的每个像素赋予权值，权值大小取决于目标像素与窗口中心像素的空间距离和CIElab颜色空间中的颜色距离相关，其中CIElab颜色空间是一种区别于RGB的颜色空间，它是...

【专利技术属性】
技术研发人员：李素梅，李永达，刘娇丽，侯春萍，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12