当前位置: 首页 > 专利查询>浙江大学专利>正文

一种基于超像素分割的快速双目立体匹配方法组成比例

技术编号:15438397 阅读:180 留言:0更新日期:2017-05-26 04:19
本发明专利技术公开了一种基于超像素分割的快速双目立体匹配方法。(1)采用SLIC(Simple Linear Iterative Clustering)超像素分割方法将原始的参考图及目标图进行区域划分;(2)基于自适应权重的局部匹配算法来计算原始视差空间图;(3)基于置信点的区域视差平面拟合;(4)运用聚类算法来进行相邻区域视差平面的合并;(5)基于超像素区域构建能量代价函数进行立体匹配。本发明专利技术的立体匹配单元是基于图像的边缘信息合并而成的超像素区域,因此确保了该算法能适用于大块无纹理区域,而且还以精确定位深度界限,获得了比传统立体匹配方法更好的匹配代价,结合视差的后处理方法,可有效获得高精度的视差图,并具有较好的实时性。

A fast binocular stereo matching method based on hyper pixel segmentation

The invention discloses a fast binocular stereo matching method based on hyper pixel segmentation. (1) using SLIC (Simple Linear Iterative Clustering) segmentation method of super pixel reference map and map the original target region; (2) partial matching algorithm based on adaptive weight to calculate the original disparity space image; (3) regional disparity plane fitting based on confidence point; (4) the use of cluster the algorithm to merge adjacent regional disparity plane; (5) the stereo matching function to construct energy cost based on super pixel region. Stereo matching unit of the invention is formed with edge information based on image pixel area, so that the algorithm can be applied to large untextured regions, but also to precisely locate the depth limit, the matching cost than traditional stereo matching method is better, combined with parallax postprocessing method can effectively obtain the disparity map with high precision, and has a better real-time performance.

【技术实现步骤摘要】
一种基于超像素分割的快速双目立体匹配方法
本专利技术涉及双目立体视觉图像处理
,尤其涉及一种基于超像素分割的快速双目立体匹配方法。
技术介绍
双目立体视觉是模拟人类双目视觉系统,基于视差原理并利用成像设备从不同位置获得被测物体的两幅图像,通过计算图像对应点间的位置偏差,来获取物体的三维几何信息的方法。双目立体视觉算法主要包括图像获取、摄像机标定、图像校正、立体匹配和三维重建等五个部分。其中立体匹配是整个算法的核心部分,匹配产生的视差图的优劣直接影响到三维重建的效果。由于场景中诸多因素,如光照、噪声及摄像机内部特性等外界环境的干扰,对立体匹配的精度提出了挑战。目前,传统的立体匹配的方法主要分为三大类:基于特征的匹配算法、基于局部的匹配算法和基于全局的匹配算法。基于特征的匹配算法得到的是稀疏的视差图,要得到致密的视差图,必须通过插值得到。基于局部的匹配算法运算速度快,但在低纹理和深度不连续区域匹配效果差。基于全局的匹配算法能够得到较高精度的匹配结果,但计算速度慢。
技术实现思路
为了在大块无纹理区域的立体匹配中获得高精度的致密视差图和较好的实时性,本专利技术提供了一种基于超像素分割的快速双目立体匹配方法,以实现匹配精度和运行速度的平衡。本专利技术的目的是通过以下技术方案来实现的:一种基于超像素分割的快速双目立体匹配方法,包括以下步骤:1)图像预处理,对立体图像对的参考图像和目标图像分别进行Z-score标准化处理。2)采用SLIC超像素分割方法将原始的参考图像及目标图像进行区域划分。3)基于自适应权重的局部匹配算法来计算原始视差空间图。4)进行左右一致性检测,标记置信点,基于置信点进行区域视差的平面拟合。5)运用聚类算法来进行相邻区域视差平面的合并。6)基于超像素区域,考虑置信区域提供的数据项、遮挡区域提供的惩罚项和相邻区域之间提供的平滑项,构建能量代价函数,从而实现参考图像和目标图像的匹配。进一步地,所述步骤2)中,分别对立体图像对的参考图像和目标图像进行SLIC超像素分割,首先以步长:的距离来划分超像素,式(1)中N为图像中像素点的个数,k为预分割成相同尺寸的超像素个数。然后计算距离,对于CIELAB颜色空间中的彩色图像,每个像素点用一个五维的向量[li,ai,bi,xi,yi]表示,其中l,a,b表示的是颜色信息,x,y表示的是空间信息。对于两个像素点之间的距离,定义:式(4)中,m为一常数参数,用来表示空间和像素颜色的相对重要性的度量。对输入的长宽分别为Width和Height的二维图像,分别在X方向和Y方向以S个像素为步长初始化簇块,得到BlockWidth*BlockHeight个尺寸为S2的簇,其中,定义每个S2块内的中心坐标点为簇心,即种子坐标。对种子坐标为中心的2S*2S范围内所有像素,求这些像素到种子坐标像素的距离度量因子D,相邻簇之间的重叠区域的像素分配到最小距离度量因子D对应的簇类,用BlockIndex标记。整幅图像扫描一遍之后,每个像素点都对应一个BlockIndex,相同BlockIndex的像素属于同一个簇。接下来用kMeans算法进行迭代,对上一次划分的每一个簇,求出每一个簇的五维坐标labxy均值,作为新的簇心(种子),按照上述规则重新标记,当迭代达到kMeans算法的收敛条件,迭代结束,划分完成。进一步地,所述步骤3)中,所述基于自适应权重的匹配算法(AdaptiveSupportWeightsSelf-Adaptation),每个像素分配权重w(x,y,d),其中(x,y)表示像素坐标,d表示该像素对应的视差,权重取值由当前像素与中央像素的空间欧氏距离和颜色欧氏距离组合的二维高斯加权函数决定,该高斯加权函数采用固定宽度的支持窗,在所有像素点上都采用该支持窗。高斯加权函数(the2DGaussianfunction)如下:式(5)中,ds为目标图像中当前像素点与支持窗中央像素点在图像坐标平面的欧氏距离,dc为当前像素点与中央像素点在CIELAB颜色空间的欧氏距离。rs与rc是两个固定参数,分别表征了距离相近性阈值和颜色相似性阈值。自适应权重调节函数(theSelfAdaptationdissimilarityalgorithmfunction)公式如下:式(6)中,t是平衡两个像素间强度差异及强度梯度差异的参数。I(x,y)与I‘(x,y)分别表示参考图与匹配图中中心像素的强度。因此,基于自适应权重的局部匹配代价函数(theASW-SelfAdlocalcostfunction)可写作:式(7)中,N(x,y)是一个围绕中心坐标(x,y)的n*n的窗口(n为大于1的奇数),然后用WTA(Winner-Takes-All)方法选取最小代价值,得到原始视差空间图。进一步地,所述步骤4)中,所述基于置信点进行区域视差的平面拟合,每一个区域模型可表示如下:d(x,y)=ax+by+c(8)式(8)中,a,b,c是平面表达式中的参数,d(x,y)是图像坐标点(x,y)对应的视差值。可以用一个线性方程来表征该区域,即A[a,b,c]T=B(9)式(9)中矩阵A的第i列为[xiyi,1],向量B的第i个元素为d(xi,yi)。则上式可写为:ATA[a,b,c]T=ATB(10)求方程(10)的a,b,c,可用奇异值分解(SingularValueDecomposition,SVD)方法来解最小二乘方程:[a,b,c]T=(AAT)+ATB(11)式(11)中,(AAT)+是AAT的伪逆,(AAT)+可用SVD来求解。进一步地,所述步骤5)中,所述基于聚类算法来进行相邻区域视差平面的合并。考虑邻近平面之间只有两种位置关系:平行或相交。定义θ为两相交平面的角度,d为两平行平面相隔的距离。用高斯函数来表征两个区域平面的相似性式(12)中给定一个常数阈值γ,如果则认为这两个区域是相同的,并将它们合并为一个区域。进一步地,所述步骤6)中,设一个区域s∈R,它对应的视差为f(s)∈D,其中R为步骤2超像素分割后的图像域,D为图像域R中所有的区域对应的视差集合。则对应某一个区域,其视差为f的能量代价函数E(f)为:E(f)=Ed(f)+Eocc(f)+Esm(f)(13)式(13)中,Ed(f)为数据项提供的能量值,用来约束超像素在偏移前后的变化尽量小;Eocc(f)为惩罚项,被遮挡的超像素提供的能量值;Esm(f)为平滑项提供的能量值。数据项Ed(f)的表达式为:式(15)中,Ur为s区域内所有置信点的集合。惩罚项Eocc(f)的表达式为:式(16)中,ωocc是遮挡情况下的惩罚因子。Nocc为s区域内所有的被遮挡点的个数。平滑项Esm(f)的表达式为:式(17)中,SN为所有相邻区域的集合;si,sj为邻近的区域;εdisc(si,sj)为非连续的代价函数。然后用WTA(Winner-Takes-All)方法从视差集合D中选取最优视差,从而实现参考图像和目标图像的立体匹配。本专利技术的有益效果是:本专利技术首先采用了SLIC超像素分割方法对参考图像和目标图像进行区域分割,并且进一步将相似区域合并,这样大大减少了后续进行的立体匹配代价计算过程中的运算基元的个数,提高了算法的时间效率。并且在匹配代价本文档来自技高网...
一种基于超像素分割的快速双目立体匹配方法

【技术保护点】
一种基于超像素分割的快速双目立体匹配方法,其特征在于,包括以下步骤:1)图像预处理,对立体图像对的参考图像和目标图像分别进行Z‑score标准化处理。2)采用SLIC超像素分割方法将原始的参考图像及目标图像进行区域划分。3)基于自适应权重的局部匹配算法来计算原始视差空间图。4)进行左右一致性检测,标记置信点,基于置信点进行区域视差的平面拟合。5)运用聚类算法来进行相邻区域视差平面的合并。6)基于超像素区域,考虑置信区域提供的数据项、遮挡区域提供的惩罚项和相邻区域之间提供的平滑项,构建能量代价函数,从而实现参考图像和目标图像的匹配。

【技术特征摘要】
1.一种基于超像素分割的快速双目立体匹配方法,其特征在于,包括以下步骤:1)图像预处理,对立体图像对的参考图像和目标图像分别进行Z-score标准化处理。2)采用SLIC超像素分割方法将原始的参考图像及目标图像进行区域划分。3)基于自适应权重的局部匹配算法来计算原始视差空间图。4)进行左右一致性检测,标记置信点,基于置信点进行区域视差的平面拟合。5)运用聚类算法来进行相邻区域视差平面的合并。6)基于超像素区域,考虑置信区域提供的数据项、遮挡区域提供的惩罚项和相邻区域之间提供的平滑项,构建能量代价函数,从而实现参考图像和目标图像的匹配。2.根据权利要求1所述的一种基于超像素分割的快速双目立体匹配方法,其特征在于,所述步骤2)中,分别对立体图像对的参考图像和目标图像进行SLIC超像素分割,首先以步长:的距离来划分超像素,式(1)中N为图像中像素点的个数,k为预分割成相同尺寸的超像素个数。然后计算距离,对于CIELAB颜色空间中的彩色图像,每个像素点用一个五维的向量[li,ai,bi,xi,yi]表示,其中l,a,b表示的是颜色信息,x,y表示的是空间信息。对于两个像素点之间的距离,定义:式(4)中,m为一常数参数,用来表示空间和像素颜色的相对重要性的度量。对输入的长宽分别为Width和Height的二维图像,分别在X方向和Y方向以S个像素为步长初始化簇块,得到BlockWidth*BlockHeight个尺寸为S2的簇,其中,定义每个S2块内的中心坐标点为簇心,即种子坐标。对种子坐标为中心的2S*2S范围内所有像素,求这些像素到种子坐标像素的距离度量因子D,相邻簇之间的重叠区域的像素分配到最小距离度量因子D对应的簇类,用BlockIndex标记。整幅图像扫描一遍之后,每个像素点都对应一个BlockIndex,相同BlockIndex的像素属于同一个簇。接下来用kMeans算法进行迭代,对上一次划分的每一个簇,求出每一个簇的五维坐标labxy均值,作为新的簇心(种子),按照上述规则重新标记,当迭代达到kMeans算法的收敛条件,迭代结束,划分完成。3.根据权利要求1所述的一种基于超像素分割的快速双目立体匹配方法,其特征在于,所述步骤3)中,所述基于自适应权重的匹配算法(AdaptiveSupportWeightsSelf-Adaptation),每个像素分配权重w(x,y,d),其中(x,y)表示像素坐标,d表示该像素对应的视差,权重取值由当前像素与中央像素的空间欧氏距离和颜色欧氏距离组合的二维高斯加权函数决定,该高斯加权函数采用固定宽度的支持窗,在所有像素点上都采用该支持窗。高斯加权函数(the2DGaussianfunction)如下:式(5)中,ds为目标图像中当前像素点与支持窗中央像素点在图像坐标平面的欧氏距离,dc为当前像素点与中央像素点在CIELAB颜色空间的欧氏距离。rs与rc是两个固定参数,分别表征了距离相近性阈值和颜色相似性阈值。自适应权重调节函数(theSelfAdaptationdissimilarityalgorithmfunction)公式如下:

【专利技术属性】
技术研发人员:刘云海邬亚菲
申请(专利权)人:浙江大学
类型:发明
国别省市:浙江,33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1