一种双目立体匹配算法制造技术

本发明专利技术公开了一种双目立体匹配算法，该算法首先对输入的图像的每一个像素随机一个视差和法线，并生成动态倾斜视差窗口作为视差平面；在进行代价计算后，对得到的图像进行空间传播

【技术实现步骤摘要】
一种双目立体匹配算法


[0001]本专利技术属于计算机视觉的
，具体涉及一种双目立体匹配算法。

技术介绍

[0002]双目立体视觉是计算机视觉领域的热门话题之一。通常被广泛应用于三维测量、三维重建、目标跟踪等方面。双目立体匹配作为立体视觉研究领域的一项核心课题,目的是获取双目图像中每个像素点之间的水平差别,即视差,直接影响三维场景中深度信息获取的准确度。现有的产品结构分为全局算法以及基部算法。全局算法通常是通过定义一个全局能量函数并寻找最优解来得到视差图。全局算法包括动态规划、置信区间传播和图割算法等。虽然全局算法准确率较高,但是算法运算量较大,难以达到实时性要求；局部算法则是通过像素点周围的局部信息来判断视差值,速度较快且易于实现,但是其匹配代价计算方式和代价聚合区域的选择是难点。
[0003]现有的局部算法常用的匹配代价计算方式包括灰度的绝对差值之和(sum of absolute diff erences,SAD)、灰度的差值平方和(sum of squared diff erences,SSD)以及灰度值的归一化(normalized crosscorrelation,NCC)。然而,这些匹配代价计算方式对于噪声、相机增益、偏置都非常敏感,在弱纹理区域的匹配效果不佳。中值滤波、高斯拉普拉斯算子和图像梯度幅值等图像预处理方式可以有效滤除噪声,但是由此得到的视差图边缘部分不够清晰。互信息(mutualinformation,MI)、Rank变换和Census变换等非参数方法对噪声具有较高的鲁棒性,得到的视差图边缘部分也较清晰,但是由于没有考虑到图像的颜色信息,故在图像的重复结构区域往往会造成误匹配。另一方面，基于离散空间的标签分配方法似乎并不是立体匹配问题的最优解，而基于连续空间的视差平面方法，在精度和效果上有明显的优势。尤其是在边界和细小结构的恢复上，离散空间带来的不精确性使得一些代价聚合模型对边界的处理并不清晰。
[0004]综上所述：现有技术存在着在弱纹理区域的匹配效果不佳，视差图边缘部分不够清晰以及重复区域误匹配率高等问题。

技术实现思路

[0005]为解决上述问题，本专利技术的首要目的在于提供一种双目立体匹配算法，该算法采用动态倾斜窗口做视差平面，解决了基线与被拍摄物体平行的角度问题。
[0006]本专利技术的另一目的在于提供一种双目立体匹配算法，该算法用像素随机初始化代替亮度或颜色差的绝对值，结合动态倾斜视差平面解决了传统算法对Census变换窗口中心像素依赖的问题，且从空间传播、视图传播到平面优化的迭代顺序，利用左右一致性检测对视差图像进行了优化，进一步降低了误差匹配率。
[0007]为实现上述目的，本专利技术的技术方案如下。
[0008]一种双目立体匹配算法，该算法首先对输入的图像的每一个像素随机一个视差和法线，并计算出视差平面；在进行代价计算后，对得到的图像进行空间传播
‑
视图传播
‑
平面
传播三次迭代传播；最后进行左右一致性检测、视差填充及加权中值滤波得到优化之后的视差图。
[0009]具体地说，该方法包括以下步骤：
[0010]步骤1、生成动态倾斜视差平面；
[0011]随机生成视差值z给每一个像素，同时为了表示平面，还需要随机一个法向量用法向量的方法表示空间中的平面，令a
p
,b
p
,c
p
分别为动态倾斜窗口的三个参数，可以表示为：个参数，可以表示为：
[0012][0013]步骤2、像素初始化；
[0014]对于像素点C的视差平面方程可以表示为:
[0015]d
C
＝a
C
x+b
C
y+c
[0016]其中a,b,c为视差平面的3个参数，三个参数随着点C的x坐标及y坐标变化不断调整，形成动态平面；
[0017]步骤3，代价计算；
[0018]对于左右视图的像素，采用的匹配公式为：
[0019]r(p,f)＝∑t(p,q)
·
ρ(q,q
‑
(aq
x
+bq
y
+c)
[0020]式中r(p,f)为像素p当视差平面为f时的聚合代价值，t(p,q)是自适应的权重；
[0021]然后，通过色差判断像素p和q是否在同一个平面：
[0022][0023]公式中，λ是自定义参数，∥Lp
‑
Lq∥为像素p和q在RGB空间的距离，其值越小，则两像素越有可能在同一平面。
[0024]进一步，对于左视图的一个像素p，它与其在右视图的对应点p
’
的相似性计算公式为：ρ(p,p')＝(1
‑
θ)
·
min(||L
p
‑
L
p'
||,Γ
col
)+θ
·
min(||G
p
‑
G
p'
||,Γ
grad
)
[0025]式中∥G
p
‑
G
p
’
∥为二者梯度的差值，θ、Γ
col
以及Γ
grad
为自定义参数，可以控制遮挡区域的像素，两个像素的梯度以及颜色差值越小则拥有越高的相似度。
[0026]步骤4、迭代传播，具体包括空间传播、平面传播及视图传播三个方面；将先进行平面传播再进行视图传播，这样可以在进行视图传播时，传给右视图更好的视差平面。
[0027]空间传播是针对每一个像素进行的，计算左视图的代价，判断新的代价是否比当前代价小，并不断更新最小的代价。在偶数次传播中，依次查找当前像素块下方以及右侧的像素块，确定其中与当前像素最相似的像素；在奇数次传播中，传播顺序改为寻找上方及左侧像素。
[0028]在平面传播步骤，提前设定z坐标变化范围(
‑
ωz,ωz)以及法向量的变化范围(
‑
ωn,ωn)，随机一个在z坐标变化范围内的值与当前视差求和，同时随机一个向量在变化范围内的值与原向量求和；新得到的视差值和法线组成新的视差平面，判断当前平面的代价与之前平面的大小，并不断更新最小代价。
[0029]进一步，为了更快找到目标平面，采用随机扰动的形式进行搜索，以当前像素为中心，在特定范围内随机搜索。搜索范围公式为：
[0030]S＝X0+wα
i
Z
i
[0031]Z随机在
‑
1到1之间，w设定了初始的搜索范围，α为缩小系数，通常每次随着i的增加搜索范围减半，因此α通常为
[0032]在视图传播步骤，为了减少时间复杂度提高速度，直接把左视图的视差平面传播到右视图去，对左视图像素p，找到其在右视图的同名点p
’
，把p的视差平面传播给本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双目立体匹配算法，其特征在于该算法首先对输入的图像的每一个像素随机一个视差和法线，并生成动态倾斜视差窗口作为视差平面；在进行代价计算后，对得到的图像进行空间传播
‑
视图传播
‑
平面传播三次迭代传播；最后进行左右一致性检测、视差填充及加权中值滤波得到优化之后的视差图。2.如权利要求1所述的双目立体匹配算法，其特征在于包括如下步骤：步骤1、为每个像素随机生成一个动态倾斜视差平面；随机生成视差值z给每一个像素，同时为了表示平面，还需要随机一个法向量用法向量的方法表示空间中的平面，令a
p
,b
p
,c
p
分别为动态倾斜窗口的三个参数，其中，a
p
,b
p
,c
p
可以表示为：可以表示为：步骤2、像素初始化；对于像素点C的视差平面方程可以表示为:d
C
＝a
C
x+b
C
y+c其中a,b,c为视差平面的3个参数，三个参数随着点C的x坐标及y坐标变化不断调整，形成动态平面；步骤3，代价计算；对于左右视图的像素，采用的匹配公式为：r(p,f)＝∑t(p,q)
·
ρ(q,q
‑
(aq
x
+bq
y
+c)式中r(p,f)为像素p当视差平面为f时的聚合代价值，t(p,q)是自适应的权重；然后，通过色差判断像素p和q是否在同一个平面：公式中，λ是自定义参数，∥Lp
‑
Lq∥为像素p和q在RGB空间的距离；步骤4、迭代传播，具体包括空间传播、平面传播及视图传播三个方面，对得到的图像进行空间传播
‑
视图传播
‑
平面传播三次迭代传播；步骤5、视差修正，包括一致性检测和视差填充；其中，左右一致性检测，是对于左视图的像素p，根据p
’
＝p
‑
d找到在右视图对应的像素p
’
，判断二者视差值是否在一定范围内，否则为误匹配点；对于视差填充，用加权中值滤波代替普通的滤波，在保存误匹配点的数组中，记录每一个点的视差平面，用其中结果最好的平面作为代替。3.如权利要求2所述的双目立体匹配算法，其特征在于步骤3中，对于左视图的一个像素p，它与其在右视图的对应点p
’
的相似性计算公式为：ρ(p,p')＝(1
‑
θ)
·
min(||L
p
‑
L
p'
||,Γ
col
)+θ
·
min...

【专利技术属性】
技术研发人员：于承均，李毅，
申请(专利权)人：四川大学，
类型：发明
国别省市：