基于前后向平滑和O(1)复杂度视差立体匹配方法、装置和设备制造方法及图纸

本发明专利技术公开了一种基于前后向平滑和O(1)复杂度视差立体匹配方法，分别对左右目图像进行前后向平滑处理，结合颜色和梯度信息构建代价计算函数并计算代价值。在代价聚集阶段，分别对平滑后的左右目图像构建最小生成树，并对代价函数值进行代价聚集，采用WTA策略得到初始视差，通过左右一致性检测判定稳定和不稳定点并得到初始视差置信，同时对不稳定点进行孔洞填充，得到初始视差图，结合左图的颜色信息和初始视差图，得到混合权值，并基于初始视差置信和混合权值，采用水平树结构对置信值进行置信聚集；将置信聚集值进行置信传播，求得最优视差估计值，从而得到最后的稠密视差图；本发明专利技术有效地提高立体匹配的准确率和效率。

Stereo Matching Method, Device and Equipment Based on Forward and Backward Smoothing and O(1) Complexity

The invention discloses a stereo matching method based on forward and backward smoothing and O (1) complexity disparity. The left and right eye images are smoothed forward and backward respectively, and the cost calculation function is constructed by combining color and gradient information, and the cost value is calculated. In the cost aggregation stage, the minimum spanning tree is constructed for the smoothed left and right eye images, and the cost function values are aggregated. The initial disparity is obtained by WTA strategy. The stable and unstable points are determined by left and right consistency detection and the initial disparity confidence is obtained. At the same time, the initial disparity map is obtained by filling the hole in the unstable points, combining the color information of the left image and the initial disparity. Based on the initial disparity confidence and the mixed weight, the horizontal tree structure is used to aggregate the confidence values; the confidence aggregation values are propagated to obtain the optimal disparity estimation, thus obtaining the final dense disparity map; the present invention effectively improves the accuracy and efficiency of stereo matching.

【技术实现步骤摘要】
基于前后向平滑和O(1)复杂度视差立体匹配方法、装置和设备
本专利技术属于图像处理
，涉及一种基于前后向平滑和O(1)复杂度视差立体匹配方法。
技术介绍
立体匹配算法在计算机视觉方面应用范围很广，如3D重建、图像聚焦等，但仍然存在很多挑战性的问题。立体匹配的主要工作是寻找图像中相应的图像点对，包括四个步骤：匹配代价计算、代价聚集、视差计算和视差精化。算法一般被分为全局和局部算法两类。全局算法的目的是最小化匹配问题的能量函数，该能量函数包括数据项和平滑项，当相邻节点的视差值存在很大的差异，平滑项就作为惩罚因子。全局算法主要包括动态规划、置信传播和图割等方法。全局方法在无纹理区域有较好的鲁棒性，而且不易受噪声的影响，得到的视差图也比较准确。但是，这类方法的计算复杂度较高，不适合实时应用。与全局方法相比，局部算法对噪声敏感，准确率较低，但是耗时少，效率高。局部算法的难点在于代价函数和窗口的选择。传统的计算代价函数的方法包括：互信息、绝对差(AD)、平方差(SD)、Census变换等等。常用的局部窗口有十字交叉窗口、自适应窗口等。基于最小生成树(MST)的非局部立体匹配算法，在整个图像本文档来自技高网...

【技术保护点】
1.一种基于前后向平滑和O(1)复杂度视差立体匹配方法，包括以下步骤：(1)分别对左目图像和右目图像进行前向和后向平滑处理；(2)基于平滑处理后的左目图像和右目图像的颜色和梯度信息构建代价函数并计算代价函数值；(3)对平滑处理后的左目图像和右目图像构建最小生成树，并对代价函数值进行代价聚集，生成代价聚集值；(4)采用WTA策略得到视差图，通过左右一致性检测判定稳定点和不稳定点，并得到初始视差置信，同时对不稳定点进行孔洞填充，得到初始视差图；(5)结合平滑处理后的左目图像的颜色信息和初始视差图，得到混合权值，基于初始视差置信和混合权值，采用水平树结构对初始视差置信进行置信聚集，获取置信聚集值；(...

【技术特征摘要】
1.一种基于前后向平滑和O(1)复杂度视差立体匹配方法，包括以下步骤：(1)分别对左目图像和右目图像进行前向和后向平滑处理；(2)基于平滑处理后的左目图像和右目图像的颜色和梯度信息构建代价函数并计算代价函数值；(3)对平滑处理后的左目图像和右目图像构建最小生成树，并对代价函数值进行代价聚集，生成代价聚集值；(4)采用WTA策略得到视差图，通过左右一致性检测判定稳定点和不稳定点，并得到初始视差置信，同时对不稳定点进行孔洞填充，得到初始视差图；(5)结合平滑处理后的左目图像的颜色信息和初始视差图，得到混合权值，基于初始视差置信和混合权值，采用水平树结构对初始视差置信进行置信聚集，获取置信聚集值；(6)在视差值更新阶段，根据步骤(3)生成的最小生成树，将置信聚集值进行置信传播，求得最优视差估计，得到稠密视差图。2.根据权利要求1所述的一种基于前后向平滑和O(1)复杂度视差立体匹配方法，其特征在于：步骤(1)具体包括以下步骤：左目图像和右目图像中每个像素点的平滑过程通过扫描水平树结构上的像素点进行更新，以每个像素点为根节点，前向和后向平滑以RGB三通道图像为输入，平滑处理公式为式(1)：表示输入图像在i通道下的像素点(u,v)平滑后的像素值；其中，Ii(u,v)是输入图像在i通道下的像素点(u,v)的像素值，表示输入图像在i通道下的像素点(u,v)前向或者后向迭代的像素值更新：▽rIi(u,v)＝Ii(u,v)-Ii(u,v-r)其中，常数λ用来调节平滑速度，▽rIi(u,v)是输入图像在i通道下的像素点(u,v)在方向r下与相邻像素点的差异，(u,v-r)为水平传播方向上像素点(u,v)的前一个像素点，f和b分别代表前向和后向；ω为常数；前向和后向平滑处理过程包括以下步骤：S1，从输入图像每一行最左端节点到最右端节点的依次传递，并将前向平滑的结果存储在数组中；S2，以相反的方向进行，从输入图像每一行最右端节点到最左端节点的依次传递，并将后向平滑的结果存储在数组中，得到平滑处理结果为式(3)：表示在i通道下平滑后的图像矩阵，Ii表示在i通道下原图像；式(3)是数据的矩阵形式。3.根据权利要求1所述的一种基于前后向平滑和O(1)复杂度视差立体匹配方法，其特征在于：步骤(2)具体包括以下步骤：(201)采用RGB三通道信息代替单一的灰度信息；设左目图像中任意一像素点p＝(x,y)，像素点p＝(x,y)对应的视差值为d，像素点p在右目图像中对应的匹配点为pd＝(x-d,y)；颜色信息CAD(p,d)和梯度信息CGrad(p,d)的表达式为：其中，CAD(p,d)表示视差值为d时像素点p的颜色信息，CGrad(p,d)表示视差值为d时像素点p的梯度信息；表示左目图像的像素点p在i通道下的像素值，表示右目图像的像素点pd在i通道下的像素值；和分别表示左目图像的像素点p的i通道下在x和y方向上的梯度，和分别表示右目图像的像素点pd的i通道下在x和y方向上的梯度；(202)构建的代价函数为：C(p,d)＝w1CAD(p,d)+w2CGrad(p,d)(5)其中，w1、w2分别为颜色信息和梯度信息的权值，w1+w2＝1；C(p,d)为视差值为d时像素点p的代价函数，基于代价函数计算代价函数值。4.根据权利要求1所述的一种基于前后向平滑和O(1)复杂度视差立体匹配方法，其特征在于：在步骤(3)具体包括以下步骤：基于最小生成树的代价聚集值，是代价函数值和相应权值相乘的总和，为式(6)：其中，Cd(q)表示视差值为d时像素点q的代价函数值，q是输入图像中任一像素点；表示视差值为d时像素点P的代价聚集值，S(p,q)为像素点p与像素点q相似性函数，表示像素点p与像素点q之间的相似性；改进的权值函数为式(8)下所示：m,n表示图像中的相邻像素点；为RGB三通道中最大的像素值，w(m,n)是相邻像素点的权值，D(p,q)是由权值w(m,n)沿着路径累积的总和，像素点p与像素点q间的距离是路径上相邻像素点的权值的和。5.根据权利要求1所述的一种基于前后向平滑和O(1)复杂度视差立体匹配方法，其特征在于：在步骤(4)具体包括以下步骤：(401)采用WTA策略得到左目图像的视差图和右目图像的视差图；(402)通过对左目图像的视差图和右目图像的视差图进行左右一致性检测，将像素点分为稳定点和不稳定点；(403)初始视差置信反映初始视差值正确的概率，若像素点与其邻域内的像素在视差值和颜色信息，像素点有更大的视差置信，视差置信值是基于稳定点和不稳定点设置的；设B为视差图的视差置信：其中，p为输入图像中的任一像素点，若p为稳定点，则概率为1，反之，该像素点为正确视差值的概率0.1；B(p)表示初始视差图中像素点p的视差置信；(404)对不稳定点进行孔洞填充：对于不稳定点p，分别在水平方向上寻找左边、右边的第一个稳定点，记作pleft、pright，不稳定点p的视差值d(p)为pleft和pright中视差值较小的一个，即d(p)＝min(d(pleft),d(pright))(10)孔洞填充完成后，得到了初始视差图Dinit。6.根据权利要求1所述的一种基于前后向平滑和O(1)复杂度视差立体匹配方法，其特征在于：在步骤(5)具体包括以下步骤：(501)基于初始视差图和平滑处理后的左目图像建立新的混合权值函数，式(11)所示：wH(m,n)表示连接相邻像素点m和像素点n的边的混合权值，wH(n,m)表示的是连接相邻像素点n和像素点m的边的混合权值，Dinit(m)、Dinit(n)分别指的是像素点m和像素点n的初始视差值，Ii(m)、Ii(n)表示像素点m和像素点n的像素值在i通道下的像素值；像素点m和像素点n为图像上相邻的两个像素点，α表示平衡初始视差图的信息和平滑后的图像像素点的信息的权值；SH(p,q)表示像素点p和像素点q的混合相似性函数，下标H表示混合，DH(p,q)表示像素点p和像素点q经过混合权值wH(m,n)沿着路径累积的距离；σH是混合相似性函数的常数；(502)采用水平树结构对初始视差置信进行置信聚集，聚集过程分为从左往右和从右往左，聚集后像素点的置信聚集值为：其中，p为图像中的像素点，上标LR表示聚集方向从左往右，RL表示聚集方向从右往左，pl表示像素点p的前一个像素点，pr代表点p的后一个像素点，SH(p,q)表示相邻像素点p与像素点q间的混合相似性；表示像素点p在视差值为d时基于水平树从左往右累加的置信聚集值，B(p)是公式(9)中得到的，表示p点的视差置信值，B(pr)表示像素点的后一个像素点视差置信聚集值，SH(p,pr)，表示像素点p和后一个点pr的混合相似性，表示从左往右累加的置信聚集值、从右往左累加的置信聚集值、像素点p的视差置信值值三者的平均值。7.根据权利要求1所述的一种基于前后向平滑和O(1)复杂度视差立体匹配方法，其特征在于：在步骤(6)具体包括以下步骤：(601)在视差更新阶段，即在置信聚集后，根据步骤(3)中建立的最小生成树，基于最小生成树对置信聚集值进行置信传播，包括以下步骤：(6a)从叶节点到根节点聚集，即：其中，Ch(p)表示像素点p的子节点，表示像素点p的置信聚集值进行置信传播后的值，所以，像素点p的置信传播值包括像素点p的置信聚集值和来自其所有子树乘边权的总和；(6b)从根节点向叶节点聚集，即：其中，Pr(p)表示像素点p的父节点；为像素点p的置信聚集值从根节点到叶节点方向进行置信传播后的值；(602)对于任一个像素点q，S(p,q)代表了最小生成树中点p和q的颜色信息相似性，置信聚集值BA(q)为q的近邻域中在颜色和视差信息都类似的区域大小，S(p,q)BA(q)表示像素点p和q有相同视差的概率；当时，p的视差值就是q点的最优视差估计，是最优视差估计的概率，所述概率是将最小生成树的置信聚集值进行传播得到的，定义节点p的置信传播为BPro(p)，最优视差估计定义为视差传播DPro(p)，对于每个节点p：其中，视差置信点p...

【专利技术属性】
技术研发人员：许金鑫，李庆武，罗颖，刘艳，
申请(专利权)人：河海大学常州校区，
类型：发明
国别省市：江苏,32