基于引导滤波和敏感区域的立体匹配方法组成比例

本发明专利技术涉及一种基于引导滤波和敏感区域的立体匹配方法，包括：给出两幅图像，其中左侧图像选为参考图像，首先确定图像的潘诺融合区；选取图像中的敏感视差区域；计算绝对亮度差和绝对梯度差；得出匹配代价函数；得到最终基于参考图像IL的加权匹配代价函数；选择代价函数最小的作为视差。本发明专利技术能够在保持较低运算复杂度的前提下降低图像匹配的错误率，能够提高图像边缘区域和遮挡区域的质量，最终提高视差图的总体质量。

Stereo matching method based on bootstrap filtering and sensitive region

The invention relates to a method for stereo matching, filtering and guide sensitive area which is based on a given two images, of which the left image is selected as the reference image, first determine the image first fusion region; selecting sensitive parallax image in the region; calculate the absolute brightness difference and absolute gradient; the final weighted matching cost function; the reference image IL matching cost function based on the minimum cost function; choose as parallax. The invention can reduce the error rate of the image matching on the premise of keeping the lower computational complexity, improve the quality of the image edge area and the occlusion area, and ultimately improve the overall quality of the disparity map.

【技术实现步骤摘要】

本专利技术涉及计算机视觉领域，更具体的是一种新的立体匹配算法用于更可靠视差图的获得。技术背景在计算机视觉领域，立体匹配是一个活跃的课题，也产生了很多有意义的应用。早期的立体匹配主要集中在基于特征的立体匹配算法，这种算法首先是通过边缘的指向提取一组潜在的匹配图像外置，然后在其他图像中寻找相应位置。视差图可以分为稀疏视差图和稠密视差图。其中，稀疏视差图主要是通过基于特征的方法获得，但是受限于计算资源，因此当前大多数视差图为稠密视差图。稠密视差图算法主要是进行四个步骤，分别是匹配的代价计算、代价聚合、视差计算/优化和视差细化。稠密视差图算法可以分为局部方法和全局方法。局部方法的视差计算仅依赖于一个有限的窗口的强度值。不同于局部算法，全局算法一般具有更好的鲁棒性且获得的视差图更可靠。当前存在的全局算法主要包括动态规划、置信传播和图割。但是，全局优化的平滑项会使视差图平滑和在物体的边缘产生差的结果。物体边缘的质量对视差图的质量有很大的影响。迄今为止，很少针对边缘的算法被提出。
技术实现思路
本专利技术的目的是提供一种以提高边缘的质量的立体匹配方法。本专利技术充分利用引导滤波边缘保护的性能，提出一种基于敏感区域的立体匹配算法，以实现立体图像错误率的降低。技术方案如下：一种基于引导滤波和敏感区域的立体匹配方法，包括下列步骤：(一)给出两幅图像：左侧图像IL和右侧图像IR，其中左侧图像IL选为参考图像，首先确定图像的潘诺融合区：(1)潘诺融合区域的边缘与眼间距离分别为最近距离zf和最远距离zb，分别表示为：zf=e2cot(arctane2v+|deg|2)]]>zb=e2cot(arctane2v-|deg|2)]]>其中，v是观察距离，e是两眼间距离，deg是区域角差异；(2)潘诺区域为[Pf,Pb],其中Pf、Pb为潘诺区域边界与3D屏幕间距离；因为感知深度依赖于立体图像的视差图，所以用[Df,Db]代替[Pf,Pb],其中Db、Df为潘诺融合区域边界处图像的视差值；(二)选取图像中的敏感视差区域：通过参考图像(IL)的物体的平均视差是否属于潘诺融合区，来判断该物体所属区域，当该物体属于敏感视差区域；否则，该物体属于背景区域；(三)通过窗口大小、像素位置和对应的视差值，计算得到在视差值为的像素i处的绝对亮度差和绝对梯度差(四)通过上述的绝对亮度差和绝对梯度差，得出在视差值为的像素i处的匹配代价函数函数表示如下：其中λ是一个(0,1)内谐波系数，该系数用于平衡亮度差和梯度差；τ1、τ2是阈值；(五)根据引导滤波的权重系数αi,j和上述最初的匹配代价函数，得到最终基于参考图像IL的加权匹配代价函数，函数表示如下：其中i和j为像素的索引，指向像素的位置；αi,j是滤波器的加权系数，根据参考图像IL设定；(六)通过上述得到的代价函数，选择代价函数最小的作为视差，对于每个像素的视差计算如下：其中，代表在视差值为的像素i处的加权匹配代价函数。本专利技术提出的匹配算法能够在保持较低运算复杂度的前提下降低图像匹配的错误率，能够提高图像边缘区域和遮挡区域的质量，最终提高视差图的总体质量。附图说明图1两视点立体屏幕的潘诺融合区图2Tsukuba图像的分割结果图3Tsukuba图像的敏感视差区域分割结果图4本专利技术与其他九种算法产生的Tsukuba图像的视差图，其中(a)为参考图片，(b)是真实视差图，(c)是RandomVote算法的视差图，(d)是C-SemiGlob算法的视差图，(e)是CostRelaxAW算法的视差图，(f)是PM-Huber算法的视差图，(g)是GC+LSL算法的视差图，(h)是VarMSOH算法的视差图，(i)是BP+DirectedDiff算法视差图，(j)是SGMDDW算法视差图，(k)是FW-DLR算法视差图，(l)是本专利技术的视差图。图5本专利技术与其他九种算法产生的Cone图像的视差图，其中(a)为参考图片，(b)是真实视差图，(c)是RandomVote算法的视差图，(d)是C-SemiGlob算法的视差图，(e)是CostRelaxAW算法的视差图，(f)是PlaneFitBP算法的视差图，(g)是ArtisticGC算法的视差图，(h)是H-Cut算法的视差图，(i)是BP+DirectedDiff算法视差图，(j)是SGMDDW算法视差图，(k)是FW-DLR算法视差图，(l)是本专利技术的视差图。具体实施方式本专利技术从潘诺融合区域的特点出发，研究如何进行有效的敏感区域和背景区域的分割。在敏感区域方面上，基于引导滤波对边缘平滑保护的特性，本专利技术采取一种基于引导滤波的立体匹配法，从而获得视差图。技术方案如下：1、首先确定图像的潘诺融合区，如附图一所示。(1)潘诺融合区域的边缘与眼间距离分别为zf(最近距离)和zb(最远距离)，分别表示为：zf=e2cot(arctane2v+|deg|2)]]>zb=e2cot(arctane2v-|deg|2)]]>其中，v是观察距离，e是两眼间距离，deg是区域角差异。(2)由附图一得到，潘诺区域为[Pf,Pb]。因为感知深度依赖于立体图像的视差图，所以可以用[Df,Db]代替[Pf,Pb]。2、然后，选取图像中的敏感视差区域。本专利技术提出通过参考图像(IL)的物体的平均视差是否属于潘诺融合区，来判断该物体所属区域。当该物体属于敏感区域；否则，该物体属于背景区域，即：oLi∈Osusceptiblezone,dLi∈[Df,Db]Obackground,dLi∉[Df,Db]]]>3、之后，计算绝对亮度差和绝对梯度差。立体匹配的主要问题是寻找每个像素的视差。给出两幅图像：左侧图像IL和右侧图像IR，其中左侧图像IL选为参考图像。根据马尔可夫随机原理，视差集定义为Ld＝l1,l2,l3,...,lM。绝对亮度差：绝对梯度差：其中I是像素的亮度，(x,y)是像素的坐标，N(i)是以像素(x,y)为中心合适大小的窗口像素的集合，P×Q是窗口的大小，|·|是绝对值操作，j是集合N(i)中像素的索引，▽x是水平方向的梯度操作(视差只存在于水平方向)。4、通过上述的绝对亮度差和绝对梯度差，得出匹配代价函数函数表示如下：其中λ是一个(0,1)内谐波系数，该系数用于平衡亮度差和梯度差；τ1、τ2是阈值，当(或)大于阈值τ1(或τ2)时，(或)用阈值τ1(或τ2)代替从而降低亮度或梯度突然变化的影响。5、根据引导滤波的权重系本文档来自技高网...

【技术保护点】
一种基于引导滤波和敏感区域的立体匹配方法，包括下列步骤：(一)给出两幅图像：左侧图像IL和右侧图像IR，其中左侧图像IL选为参考图像，首先确定图像的潘诺融合区：(1)潘诺融合区域的边缘与眼间距离分别为最近距离zf和最远距离zb，分别表示为：zf=e2cot(arctane2v+|deg|2)]]>zb=e2cot(arctane2v-|deg|2)]]>其中，v是观察距离，e是两眼间距离，deg是区域角差异；(2)潘诺区域为[Pf,Pb],其中Pf、Pb为潘诺区域边界与3D屏幕间距离；因为感知深度依赖于立体图像的视差图，所以用[Df,Db]代替[Pf,Pb],其中Db、Df为潘诺融合区域边界处图像的视差值；(二)选取图像中的敏感视差区域：通过参考图像(IL)的物体的平均视差是否属于潘诺融合区，来判断该物体所属区域，当该物体属于敏感视差区域；否则，该物体属于背景区域；(三)通过窗口大小、像素位置和对应的视差值，计算得到在视差值为的像素i处的绝对亮度差和绝对梯度差(四)通过上述的绝对亮度差和绝对梯度差，得出在视差值为的像素i处的匹配代价函数函数表示如下：C(i,l)=(1-λ)·min[DSAD(i,l)‾,τ1]+λ·min[DGRAD(i,l)‾,τ2]]]>其中λ是一个(0,1)内谐波系数，该系数用于平衡亮度差和梯度差；τ1、τ2是阈值；(五)根据引导滤波的权重系数αi,j和上述最初的匹配代价函数，得到最终基于参考图像IL的加权匹配代价函数，函数表示如下：C(i,l)weight=Σjαi,j(IL)C(i,l)]]>其中i和j为像素的索引，指向像素的位置；αi,j是滤波器的加权系数，根据参考图像IL设定；(六)通过上述得到的代价函数，选择代价函数最小的作为视差，对于每个像素的视差计算如下：其中，代表在视差值为的像素i处的加权匹配代价函数。...

【技术特征摘要】
1.一种基于引导滤波和敏感区域的立体匹配方法，包括下列步骤：
(一)给出两幅图像：左侧图像IL和右侧图像IR，其中左侧图像IL选为参考图像，首先确定图
像的潘诺融合区：
(1)潘诺融合区域的边缘与眼间距离分别为最近距离zf和最远距离zb，分别表示为：
zf=e2cot(arctane2v+|deg|2)]]>zb=e2cot(arctane2v-|deg|2)]]>其中，v是观察距离，e是两眼间距离，deg是区域角差异；
(2)潘诺区域为[Pf,Pb],其中Pf、Pb为潘诺区域边界与3D屏幕间距离；因为感知深度依赖于立体
图像的视差图，所以用[Df,Db]代替[Pf,Pb],其中Db、Df为潘诺融合区域边界处图像的视差值；
(二)选取图像中的敏感视差区域：
通过参考图像(IL)的物体的平均视差是否属于潘诺融合区，来判断该物体所属区域，当
该物体属于敏感视差区域；否则，该物体属于背景区域；
(三)通过窗口大小、像素位置和对应的视差值，计算得到在视差值为的像素i处的绝对亮度差
...

【专利技术属性】
技术研发人员：陈洁，周圆，陈莹，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12