基于相似性测度函数的改进局部立体匹配方法组成比例

本发明专利技术属于图像立体匹配领域，为提出一种新的局部立体匹配框架，以达到快速准确的获取立体图像视差图的目的。本发明专利技术采用的技术方案是，基于相似性测度函数改进的局部立体匹配方法，步骤是：根据待匹配图像的颜色、梯度、像素间的空间距离信息，结合Census变换方法，构建新的相似性测度函数，计算出每个像素的匹配代价；计算每个点匹配代价的和，即代价聚合，在代价聚合过程中，采用基于十字框架的自适应窗口，通过引导图滤波的方法得到初始视差图；之后，利用均值漂移算法对初始视差图进行图像分割，结合图像的可信度分布图，通过表面插值方法，对视差图中的误匹配点进行优化，得到最终的视差结果。本发明专利技术主要应用于图像立体匹配场合。

Improved local stereo matching method based on similarity measure function

The present invention belongs to the field of stereo image matching, and proposes a new local stereo matching framework to achieve the purpose of obtaining the disparity map of stereo images quickly and accurately. The technical scheme of the invention is that local stereo matching method, similarity measure function based on the improved steps are: according to the matching of image color, gradient, the space distance between the pixel information, combined with the Census transform method, similarity measure function Gou Jianxin, calculate the matching cost of each pixel is calculated for each point of the matching cost; and, that is the price at the expense of polymerization, the polymerization process, using the adaptive window cross frame based on the initial disparity map by map filtering; after the initial disparity map segmentation using mean shift algorithm, combined with the reliability distribution map of the image through the surface interpolation method, the error points in the disparity map the matching optimization, the final results obtained parallax. The invention is mainly applied to the stereo matching of images.

【技术实现步骤摘要】
基于相似性测度函数的改进局部立体匹配方法
本专利技术属于图像立体匹配领域，涉及立体匹配算法的改进优化。具体讲,涉及基于相似性测度函数改进的局部立体匹配方法。
技术介绍
立体视觉是一种根据立体成像原理，借助计算机二维图像处理技术从二维图像中恢复出三维场景中的空间信息的技术，关于这项技术的研究起源于19世纪60年代Robert等人[1]进行的计算机视觉系统模拟实验，他们利用多个不同形状的多面体，通过对多面体点、线、面的位置和相对距离的识别研究计算机系统对真实场景物体的识别和定位能力。这是空间信息技术首从二维图像处理领域转换为三维空间场景的分析。目前，立体视觉技术已经广泛应用于人类社会的各个领域。作为视觉导航、遥感成像等领域的关键技术，立体视觉已经成为有线电视网、互联网和电信网三网融合环境下的发展主题。此外，立体视觉在卫星、机器人、医疗、航空航天等领域都有较大的应用前景。尤其是在医疗领域，成熟的CT技术通过三维图像显示病灶区域，并引导治疗，为数字化医疗打开了一扇新世界的大门。双目立体成像系统是由两个单目摄像机经过调整校正组合而成，由位于不同位置的摄像机从不同的视角采集三维场景的图像，对于静态的场景也可以由一个摄像机先后从不同的角度拍摄，来实现双目立体系统的图像采集。立体视觉系统可以大体分为以下四个组成部分：摄像机标定、图像获取、立体匹配和三维重建。在下一章中会对各模块进行详细的介绍。本文主要研究的是立体匹配这部分的内容。立体匹配是立体视觉系统中的核心问题，立体匹配算法的性能，直接影响三维信息的恢复精度。立体匹配是计算机视觉中的一个经典问题，也是一个病态问题，其基本思想是将在一个视点下拍摄的图像作为参考图像，将在另外一个视点下拍摄的图像作为目标图像，并在目标图像中寻找与参考图像的像素点相对应的点，根据这两点的坐标关系求出该像素点的视差值。1977年，Marr教授提出了Marr视觉理论[2]，该理论把三维场景的重建工作分成三个阶段。第一个阶段是早期视觉二维图的获取；第二个阶段是将二维图转到2.5维图；第三个阶段是利用前两个阶段提取到的信息还原成三维场景。立体匹配在Marr视觉理论框架中属于第一阶段和第二阶段，很多立体匹配算法的思想来源于Marr视觉理论。D.Scharstein和R.Szdiski[3]将立体匹配算法分为两类：局部的立体匹配算法(local-basedalgorithms)和全局的立体匹配算法(global-basedalgorithms)。下面对这两类立体匹配算法作一个简单介绍。局部立体匹配算法是利用兴趣点周围的局部信息来计算视差，由于该类算法涉及的信息量较少，相应的计算复杂度就较低，但该类算法对噪声较敏感，对无纹理区域、视差不连续区域和遮挡区域匹配效果不理想。局部的立体匹配算法分为三类：区域匹配算法、特征匹配算法和相位匹配算法。区域匹配算法是基于光度测量不变性原理的，该类算法以邻域窗的灰度为匹配基元，以相关程度作为判别依据，最终得到稠密的视差图。基于区域的匹配算法有一个明显的缺点，在无纹理区域的匹配，由于相关函数变化的锐度不够以及深度不连续特性难以完整的保留，因此不能取得精确的匹配结果。不过目前出现了一些效果较好的区域算法，如自适应窗口(adaptivewindow)[3]、滑动窗口(shiftablewindow)[4]、自适应权重算法(adaptive-weight)窗口算法等。特征匹配算法是基于几何不变性原理的，该类匹配算法克服了区域匹配算法对深度不连续和无纹理区域敏感的缺点，通过提取图像特征，对其进行匹配。匹配基元可分为全局特征和局部特征两大类。全局特征包括多边形和图像结构等，多与全局算法混合使用；局部特征包括点、边缘、线段、小区域或局部能量等图像信息。该类算法对噪声不敏感，可以得到较精确的匹配。但特征匹配算法最终得到的是稀疏视差图，要得到稠密视差需附加插值过程。另外特征匹配结果的性能紧密依赖于所提取的特征精度。相位匹配算法是基于傅立叶平移定理的，对带通滤波后的时/空2频域定位性的基元信号相位信息进行处理从而得到像对间的视差。为了解决局部立体匹配算法在低纹理区域、视差不连续区域以及遮挡区域的误匹配问题，引入了全局立体匹配算法[5]。全局匹配算法需要构造能量函数，同时计算图像中所有像素点的视差，将视差变量引入能量函数，利用扫描线或整个图像数据信息进行计算，将立体匹配转化为求解全局最优解的问题。这类算法的核心环节包括：1)能量函数构造方法；2)能量函数优化求解策略。常用的全局立体匹配算法包括置信度传播(BP)[6]、动态规划(DP)[7]、图割(GC)[8]等。全局立体匹配算法相比局部算法，得到的视差图更精确，能够有效解决局部算法遇到的问题，但全局算法具有较高的计算复杂度，计算时间长，而且需要大量人为设定参数，不适用于实时性要求较高的应用。
技术实现思路
为克服现有技术的不足，本专利技术旨在针对目前局部立体匹配算法中存在的缺点，提出一种新的局部立体匹配框架，以达到快速准确的获取立体图像视差图的目的。本专利技术采用的技术方案是，基于相似性测度函数改进的局部立体匹配方法，步骤是：根据待匹配图像的颜色、梯度、像素间的空间距离信息，结合Census变换方法，构建新的相似性测度函数，计算出每个像素的匹配代价；计算每个点匹配代价的和，即代价聚合，在代价聚合过程中，采用基于十字框架的自适应窗口，通过引导图滤波的方法得到初始视差图；之后，利用均值漂移算法对初始视差图进行图像分割，结合图像的可信度分布图，通过表面插值方法，对视差图中的误匹配点进行优化，得到最终的视差结果。构建的计算每个像素的匹配代价中的代价函数为，其中dcen(Ic(pi),Ic(pc))为基于Census变换的相似性测度函数，dc(Ic(pi),Ic(pc))表示左视图中像素pi，pc在CIE颜色空间中的颜色距离，dp(pi,pc)表示pi，pc之间的空间距离，常数γc,γp为自适应权值立体匹配算法的两个参数,γcen为Census变换的参数。基于十字框架的自适应窗口方法具体步骤是，以像素p作为中心建立十字框架支持窗口，其中p的坐标为(xp,yp)，已知窗口的主要框架为互相垂直的两部分，它们的交点即为中心像素p，通过自适应的改变两条互相垂直的像素集合的长度，改变支持窗口的大小和形状；使用图像中像素的颜色相似性作为度量准则，计算出的参数值。计算步骤为：首先，根据相关性约束建立颜色相似性度量函数，用大小为3×3的滤波器对目标图像I进行滤波，以减少立体图像中由于朗博原理而产生的噪声，以目标像素p的水平左方向的窗口尺寸参数为例，介绍说明十字窗口框架的获得方法，该方法的最终目的是通过逐一检测目标像素一方向上相邻像素的颜色相似性，得到与目标像素具有相似颜色的最远像素与目标像素p的距离，并以此距离作为水平负向臂长相似像素集合长度最大值表示为ε*，计算公式如下(9)(10)所示：其中，pi为水平方向上相邻待测像素，以水平负方向为例，p＝(x,y)为中心像素，pi＝(x-i,y)；为表示像素间颜色相似性的指示函数，计算方法为，将两个像素在颜色空间中所有颜色分量的最大绝对误差与设定的颜色相似性阈值τ进行比较，范围内的像素即视为颜色相似像素，即值取1，通过调整本文档来自技高网...

【技术保护点】
一种基于相似性测度函数的改进局部立体匹配方法，其特征是，步骤是：根据待匹配图像的颜色、梯度、像素间的空间距离信息，结合Census变换方法，构建新的相似性测度函数，计算出每个像素的匹配代价；计算每个点匹配代价的和，即代价聚合，在代价聚合过程中，采用基于十字框架的自适应窗口，通过引导图滤波的方法得到初始视差图；之后，利用均值漂移算法对初始视差图进行图像分割，结合图像的可信度分布图，通过表面插值方法，对视差图中的误匹配点进行优化，得到最终的视差结果。

【技术特征摘要】
1.一种基于相似性测度函数的改进局部立体匹配方法，其特征是，步骤是：根据待匹配图像的颜色、梯度、像素间的空间距离信息，结合Census变换方法，构建新的相似性测度函数，计算出每个像素的匹配代价；计算每个点匹配代价的和，即代价聚合，在代价聚合过程中，采用基于十字框架的自适应窗口，通过引导图滤波的方法得到初始视差图；之后，利用均值漂移算法对初始视差图进行图像分割，结合图像的可信度分布图，通过表面插值方法，对视差图中的误匹配点进行优化，得到最终的视差结果。2.如权利要求1所述的基于相似性测度函数的改进局部立体匹配方法，其特征是，构建的计算每个像素的匹配代价中的代价函数为，其中dcen(Ic(pi),Ic(pc))为基于Census变换的相似性测度函数，dc(Ic(pi),Ic(pc))表示左视图中像素pi，pc在CIE颜色空间中的颜色距离，dp(pi,pc)表示pi，pc之间的空间距离，常数γc,γp为自适应权值立体匹配算法的两个参数,γcen为Census变换的参数。3.如权利要求1所述的基于相似性测度函数的改进局部立体匹配方法，其特征是，基于十字框架的自适应窗口方法具体步骤是，以像素p作为中心建立十字框架支持窗口，其中p的坐标为(xp,yp)，已知窗口的主要框架为互相垂直的两部分，它们的交点即为中心像素p，通过自适应的改变两条互相垂直的像素集合的长度，改变支持窗口的大小和形状；使用图像中像素的颜色相似性作为度量准则，计算出的参数值。4.如权利要求1所述的基于相似性测度函数的改进局部立体匹配方法，其特征是，计算步骤为：首先，根据相关性约束建立颜色相似性度量函数，用大小为3×3的滤波器对目标图像I进行滤波，以减少立体图像中由于朗博原理而产生的噪声，以目标像素p的水平左方向的窗口尺寸参数为例，介绍说明十字窗口框架的获得方法，该方法的最终目的是通过逐一检测目标像素一方向上相邻像素的颜色相似性，得到与目标像素具有相似颜色的最远像素与目标像素p的距离，并以此距离作为水平负向臂长相似像素集合长度最大值表示为ε*，计算公式如下(9)(10)所示：

【专利技术属性】
技术研发人员：李素梅，雷国庆，李永达，侯春萍，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12