一种基于可信度图视差优化的立体匹配方法组成比例

本发明专利技术公开了一种基于可信度图视差优化的立体匹配方法，首先融合AD和MiniCensus两种相似性度量函数构造AD‑MiniCensus变换计算双目相机左右图像的初始匹配代价；然后，采用双臂长阀值和双色彩阀值的判断准则，分别对左右图像构建自聚合窗口，取重叠区域为自适应聚合窗口；最后采用WTA策略取视差区间内匹配代价最小点为初始匹配点并计算初始视差，使用一种基于可信度图的区域投票优化算法，结合左右一致性检测等多个优化步骤实现视差图优化。本发明专利技术方法能够有效计算双目相机左右图像中各个像素的对应点，视差优化算法可以有效减少误匹配点，准确的计算各个像素的视差值；本发明专利技术方法可并行计算并通过硬件加速降低运算时间，适合于工程应用。

A stereo matching method based on parallax optimization of confidence maps

The invention discloses a stereo matching method based on parallax optimization of credibility map. Firstly, AD MiniCensus transform is constructed by combining AD and Minicensus similarity measure functions to calculate the initial matching cost of left and right images of binocular cameras. Then, the judgement criteria of double arm length threshold and double color threshold are used to construct self-aggregation windows for left and right images respectively, and the overlapping area is taken as self-adaptive. Finally, the minimum matching cost in disparity interval is selected as the initial matching point by WTA strategy and the initial disparity is calculated. A region voting optimization algorithm based on confidence map is used to optimize disparity map, which combines left and right consistency detection and other optimization steps. The method of the invention can effectively calculate the corresponding points of each pixel in the left and right images of binocular cameras, and the disparity optimization algorithm can effectively reduce the mismatching points and accurately calculate the disparity values of each pixel. The method of the invention can calculate in parallel and reduce the operation time through hardware acceleration, and is suitable for engineering application.

【技术实现步骤摘要】
一种基于可信度图视差优化的立体匹配方法
本专利技术属于双目立体视觉
，涉及一种基于可信度图视差优化的立体匹配方法。
技术介绍
移动机器人工作的环境越来越复杂，其对周围环境信息感知的要求越来越高，加之半导体技术快速发展，处理器计算速度提高，视觉传感器成本下降，双目立体视觉被逐步引入到移动机器人环境感知等领域。立体视觉系统主要分为以下四个组成部分:摄像机标定、图像获取、立体匹配和三维重建。它的基本原理是根据同一个目标在不同视角下的二维图像，通过找到相同二维像素点所对应的空间坐标，从而获得稠密的场景距离信息，即深度图。立体匹配是双目立体视觉中最重要、最核心的问题。它解决的是对于同一空间景物上的一点在参考图像上的投影点如何在匹配图像上找到其对应点的问题，其准确度对深度估算的准确度有着重要影响。立体匹配算法可以分为局部立体匹配算法和全局立体匹配算法，局部算法一般都包含代价函数，代价聚合和视差优化及精化三个步骤，前者通过调节单个点相似性度量方式来改善匹配性能，而后者通过改变邻域内其他像素的对当前像素的不同贡献来增强鉴别性。因此，研究代价函数构成，代价聚合窗口生成方法和视差优化算法具有重要意义。
技术实现思路
专利技术目的：本发提供一种可有效降低了匹配误差率、降低运算时间且适合于工程运用的基于可信度图视差优化的立体匹配方法。技术方案：本专利技术所述的一种基于可信度图视差优化的立体匹配方法，包括以下步骤：(1)融合AD和MiniCensus两种相似性度测量函数，构建AD-MiniCensus初始匹配代价函数，计算左右图像每个像素点的初始匹配代价；(2)以左右图像每个像素作为中心建立十字框架支持窗口，采用双臂长阀值和双色彩阀值的判断准则，在水平和垂直方向，自适应地生长四个臂长，以准确地构建局部聚合窗口；(3)在局部十字框架支持窗口的基础上，分别沿垂直方向和水平方向构建自适应窗口，聚合窗口内的初始匹配代价并进行归一化处理，通过WTA策略计算出每个像素点的初始视差；(4)通过左右一致性检测，基于可信度图的区域投票优化算法，经过插值优化及亚像素化，得到最终视差。所述步骤(1)通过以下公式实现：Np∈{qx＝px||qy＝py||(qx＝px+α&&qy＝py+α,α∈Z)}Cminicensus(p,d)＝Hamming[Tl(p),Tr(p+d)]d∈[dmin,dmax]C(p,d)＝ρ(Cminicensus(p,d),λminicensus)+ρ(Cad(p,d),λad)其中，p为像素点，d为视差，dmin为最小视差，dmax为最大视差，T(p)表示p像素点的MiniCensus序列，px，py表示像素p在像素坐标系下的横坐标和纵坐标，qx，qy表示像素q在像素坐标系下的横坐标和纵坐标，Np表示支持窗口内除p点外，满足限制条件的所有像素点的集合，整数α为偏移量，C(p,d)为单个像素的初始匹配代价，ρ(c,λ)为映射函数，λminicensus为MiniCensus映射参数，λad为AD映射参数，Cad(p,d)为AD相似性测量函数，Cminicensus(p,d)为MiniCensus相似性测量函数，Ili(p)为像素p左图RGB单通道像素值，Ilr(p+d)为像素p右图在d视差距离下RGB单通道像素值，Hamming[Tl(p),Tr(p+d)]为汉明距离函数，Tl(p)表示p的左图MiniCensus序列，Tr(p)表示p的右图MiniCensus序列。所述步骤(2)所通过以下公式实现：Dc(p1,p)＜τ1andDc(p1,p1+(1,0))＜τ1Ds(p1,p)＜L1Dc(p1,p)＜τ2,ifL2＜Ds(p1,p)＜L1τ1＞τ2andL1＞L2Dc(p1,p)＝max|Ii(p1)-Ii(p)|i＝R,G,BDs(p1,p)＝|p1-p|其中，pl表示向左延伸的最大像素，τ1和τ2表示颜色阈值，L1和L2表示距离阈值，Ds表示像素间的空间距离，Dc表示色彩空间距离，得到四个臂长后，可得P的十字交叉区域为：沿垂直方向，对V(p)中每个像素进行水平臂长H(p)求解，联合所有H(p)可得垂直自适应聚合区域Uv(p)，对H(p)中每个像素进行垂直臂长V(p)求解，联合所有V(p)可得垂直自适应聚合区域UH(p)。所述步骤(3)通过以下公式实现：其中，U(p)为左图像素p生成的聚合区域，U(p,d)为右图在视差d下的对应像素聚合区域，归一化匹配代价,N为聚合区域的像素总个数，为初始视差。所述步骤(4)包括以下步骤：(41)对初始视差图进行左右一致性检测找到视差异常点，利用AD相似度测量函数求得的匹配代价，计算每个像素点的匹配代价峰值比Conf1(x,y)：dl(p)＝dr{p-[dl(p),0]}Conf(x,y)＝Conf1(x,y)+ΔConf(x,y)其中，d(p)为初始视差值，cf为常量，ΔConf(x,y)为可信度增量；(42)当像素满足检测要求时，增加一个常量，否则减小一个常量，统计聚合区域中所有可信度高于阈值的像素点视差值，构建具有dmax+1个区段的视差直方图Hp，使用出现频率最高的视差值以代替异常点视差值；(43)对遮挡点和误匹配点采用不同的插值处理；(44)进行亚像素化处理获得最终视差。有益效果：与现有技术相比，本专利技术的有益效果为：1、有效减少了误匹配点，降低了匹配误差率；2、本方法使用Middlebury标准图像集进行测试，可以准确的计算出视差值；3、本专利技术方法可并行计算并通过硬件加速降低运算时间，适合于工程应用。附图说明图1是本专利技术的流程图；图2是自适应生长区域示意图；图3是初始视差图；图4是可信度图。具体实施方式下面结合附图对本专利技术作进一步详细说明。本专利技术一种基于可信度图视差优化的立体匹配方法的原理是：融合AD灰度绝对值和MiniCensus两种相似性度测量函数，构建AD-MiniCensus初始匹配代价函数，利用此函数计算左右图像每个像素点的初始匹配代价；随后，以左右图像每个像素作为中心建立十字框架支持窗口，采用双臂长阀值和双色彩阀值的判断准则，在水平和垂直方向，自适应地生长四个臂长，以准确地构建局部聚合窗口；然后，分别沿垂直方向，水平方向构建自适应窗口，聚合窗口内的初始匹配代价并进行归一化处理，通过WTA策略计算出每个像素点的初始视差；最后，通过左右一致性检测，基于可信度图的区域投票优化算法，插值优化，亚像素化，实现视差图优化，获得最终视差。图1为本专利技术流程图，包括以下步骤：1、建立基于AD-MiniCensus变换的初始匹配代价AD是一种高效的相似性度量函数，但易于受到光照影响；MiniCensus变换尽管提高了匹配算法对光照的鲁棒性，但是该变换丢失了大量原图像素值的信息，导致在视差不连续区域及纹理较少区域误匹配率较高。将两者结合构成初始代价函数，旨在提升算法性能。p为像素点，在视差d下，按照RGB三通道计算，AD的匹配代价计算为：Ili(p)为像素p左图RGB单通道像素值，Ilr(p+d)为像素p右图在d视差距离下RGB单通道像素值。使用在选定的初始匹配窗口内，选择像素p水平方向，垂直方向，正负45度方向上的所有像素点q，和中心像素p顺序进行比较，若q灰度值本文档来自技高网...

【技术保护点】
1.一种基于可信度图视差优化的立体匹配方法，其特征在于，包括以下步骤：(1)融合AD和MiniCensus两种相似性度测量函数，构建AD‑MiniCensus初始匹配代价函数，计算左右图像每个像素点的初始匹配代价；(2)以左右图像每个像素作为中心建立十字框架支持窗口，采用双臂长阀值和双色彩阀值的判断准则，在水平和垂直方向，自适应地生长四个臂长，以准确地构建局部聚合窗口；(3)在局部十字框架支持窗口的基础上，分别沿垂直方向和水平方向构建自适应窗口，聚合窗口内的初始匹配代价并进行归一化处理，通过WTA策略计算出每个像素点的初始视差；(4)通过左右一致性检测，基于可信度图的区域投票优化算法，经过插值优化及亚像素化，得到最终视差。

【技术特征摘要】
1.一种基于可信度图视差优化的立体匹配方法，其特征在于，包括以下步骤：(1)融合AD和MiniCensus两种相似性度测量函数，构建AD-MiniCensus初始匹配代价函数，计算左右图像每个像素点的初始匹配代价；(2)以左右图像每个像素作为中心建立十字框架支持窗口，采用双臂长阀值和双色彩阀值的判断准则，在水平和垂直方向，自适应地生长四个臂长，以准确地构建局部聚合窗口；(3)在局部十字框架支持窗口的基础上，分别沿垂直方向和水平方向构建自适应窗口，聚合窗口内的初始匹配代价并进行归一化处理，通过WTA策略计算出每个像素点的初始视差；(4)通过左右一致性检测，基于可信度图的区域投票优化算法，经过插值优化及亚像素化，得到最终视差。2.根据权利要求1所述一种基于可信度图视差优化的立体匹配方法，其特征在于，所述步骤(1)通过以下公式实现：Np∈{qx＝px||qy＝py||(qx＝px+α&&qy＝py+α,α∈Z)}Cminicensus(p,d)＝Hamming[Tl(p),Tr(p+d)]d∈[dmin,dmax]C(p,d)＝ρ(Cminicensus(p,d),λminicensus)+ρ(Cad(p,d),λad)其中，p为像素点，d为视差，dmin为最小视差，dmax为最大视差，T(p)表示p像素点的MiniCensus序列，px，py表示像素p在像素坐标系下的横坐标和纵坐标，qx，qy表示像素q在像素坐标系下的横坐标和纵坐标，Np表示支持窗口内除p点外，满足限制条件的所有像素点的集合，整数α为偏移量，C(p,d)为单个像素的初始匹配代价，ρ(c,λ)为映射函数，λminicensus为MiniCensus映射参数，λad为AD映射参数，Cad(p,d)为AD相似性测量函数，Cminicensus(p,d)为MiniCensus相似性测量函数，Ili(p)为像素p左图RGB单通道像素值，Ilr(p+d)为像素p右图在d视差距离下RGB单通道像素值，Hamming[Tl(p),Tr(p+d)]为汉明距离函数，Tl(p)表示p的左图...

【专利技术属性】
技术研发人员：李一博，熊智，罗玮，熊骏，陈明星，王铮淳，李文龙，孙瑶洁，徐丽敏，景羿铭，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏,32