一种新型的立体匹配代价计算以及视差后处理方法技术

本发明专利技术公开了一种新型的立体匹配代价计算以及视差后处理方法用以提高无纹理区域，纹理相似但深度不同区域，以及倾斜平面区域的视差估计精度。本发明专利技术采用描述纹理丰富区域信息的灰度及梯度特征、体现大面积无纹理区域结构以及细微差别的Census特征共同构成联合立体匹配代价，以此进行视差计算；随后，在原始视差图基础上，引入二次视差修复提升了算法在纹理相似但深度不同区域的视差估计精度；通过基于平面拟合的视差精细化，提升了算法在倾斜平面区域的视差精度。

【技术实现步骤摘要】
一种新型的立体匹配代价计算以及视差后处理方法
本专利技术提供一种新型的立体匹配代价计算以及视差后处理方法，属于计算机双目立体视觉领域。
技术介绍
立体匹配是双目立体视觉技术实现过程中最困难也是最重要的一步。立体匹配算法包含全局立体匹配算法，半全局立体匹配算法和局部立体匹配算法三种，其中局部立体匹配算法以其高精度、低耗时获得了最为广泛的应用。局部立体匹配算法的计算步骤通常为：1)立体匹配代价计算、2)匹配代价聚合、3)视差图计算、4)视差后处理。由于局部立体匹配算法匹配代价聚合区域的局限性，匹配过程受噪声干扰较大，目前通过局部立体匹配算法获取的视差图在大面积无纹理区域，纹理相似但深度不同区域以及倾斜平面区域等匹配困难区域的视差质量显著下降。
技术实现思路
为解决传统的局部立体匹配算法在大面积无纹理区域、纹理相似但深度不同区域和倾斜平面区域的视差精度较低的问题，本专利技术提出了一种新型的立体匹配代价计算以及视差后处理方法，该方法适用于所有的局部立体匹配算法，能显著提升算法在以上匹配困难区域的视差精度。为解决上述技术问题，本专利技术提供了一种新型的立体匹配代价计算，为基于灰度差、梯度差以及对应于Census特征的汉明距离的联合匹配代价计算。进一步的，匹配代价计算中对应于Census特征的汉明距离计算包括：以像素点p为中心选取一个矩形窗口W(p)，将窗口内各像素点q的灰度值分别与中心像素点p的灰度值进行比较，若q的灰度值比中心点p的灰度值大，则对q编码为1，否则编码为0；Census变换的定义如下：其中，I(p)和I(q)分别表示像素点p和q对应的灰度值，ξ(q,p)表示像素点q处的编码值；把窗口内所有像素点对应的编码值按位连接，从而构成窗口中心像素点p的汉明编码，用下面的公式表示：其中，运算符表示按位连接，H(p)表示p处的汉明编码；汉明距离的计算公式如下：其中，CH(p,d)表示视差为d时像素p对应的汉明距离，HL(p)和HR(p-d)分别表示左图像素p与右图像素p-d的汉明编码，运算符表示异或操作，||·||1为统计二进制串中1的个数，dmax是场景中的最大视差值。进一步的，所述灰度差定义如下：CI(p,d)＝|IL(p)-IR(p-d)|d∈[0,dmax-1](4)其中，IL(p)和IR(p-d)分别表示左图像素点p与右图像素点p-d的灰度值；所述梯度差定义如下CG(p,d)＝|GL(p)-GR(p-d)|d∈[0,dmax-1](5)其中，GL(p)和GR(p-d)分别表示左图像素p与右图像素p-d的梯度值。进一步的，在计算联合匹配代价过程中引入指数函数控制灰度差，梯度差和汉明距离的范围，视差为d时，图像p点对应的联合匹配代价为：E(p,d)＝ρ(CI(p,d),λI)+ρ(CG(p,d),λG)+ρ(CH(p,d),λH)(6)其中，CI(p,d)表示灰度差，CG(p,d)表示梯度差，CH(p,d)表示汉明距离，E(p,d)表示联合匹配代价，ρ(c,λ)是变量CI,CG,CH的鲁棒性函数，该指数函数控制各项差值范围，公式如下：本专利技术还公开了一种视差后处理方法，包括以下步骤：S1、对原始视差图采用二次视差修复；S2、对修复后的视差图进行基于平面拟合的视差精细化处理。进一步的，视差后期处理中对原始视差图采用二次视差修复，具体包括以下步骤：S1-1：对左右视差图作左右一致性检测，检测原则为：其中，像素点p坐标为(x,y)，dLR和dRL分别表示p点左图和右图对应的视差，当左右图中对应视差的差值小于Tc，p点通过左右一致性检测，Mask(x,y)置为1；反之，p点不通过左右一致性检测，Mask(x,y)置为0，Mask中为零的点为视差不可靠点；S1-2：基于横向扫描的视差初步修复；修复原则为：以视差不可靠点p为起点，向左、向右在一定邻域范围内扫描，分别找到第一个视差可靠的像素点，若分别存在领域内向左向右两个视差可靠点，以两者中小的视差值修复p点的不可靠视差,并设被修复的视差不可靠点的Mask值为1；若仅存在领域内向左或向右一个视差可靠点，以此视差值修复p的不可靠视差,并设被修复视差不可靠点的Mask值为1；若领域内无其他视差可靠点，则无法修复p的不可靠视差，维持其Mask值不变；S1-3：基于权重-视差直方图的第二次修复；修复原则为：以视差不可靠点p为中心划定窗口，窗口内任意像素点q对其自身视差值投票，窗口内当前投票像素点与中心视差不可靠点的距离越近，或颜色越接近，则该投票像素点的投票权重越大，以投票值最大的视差值修复窗口中心，即视差不可靠点的视差值，并设被修复视差不可靠点的Mask值为1，投票权重公式如下其中，|p-q|表示像素点p与q之间的空间距离，Ic表示R，G，B三通道之一的颜色值，σd和σc是常数，用于控制权重大小；q点对应视差d的投票值计算公式如下Histogram(d)＝Histogram(d)+weight(q,p)d∈[0,dmax-1](10)其中，当前投票像素点对应的视差估计值为d。进一步的，步骤S2的具体实施步骤如下：S2-1：图像分割：利用Mean-shift算法将图像分割成若干子图像块，假设每个子图像块的像素在同一平面；S2-2：视差平面参数拟合：设平面d＝ax+by+c，其中(x,y)为平面像素点的坐标，d为该像素点的视差值，以平面中视差可靠的像素点为拟合依据，使用迭代线性回归分析方法拟合视差平面，并且通过引入上一轮迭代的误差向量对本轮的误差函数进行重新定义，以求得到更加准确的平面拟合参数；假设视差平面Ω的拟合参数记为A＝[a,b,c]T，平面中视差可靠的像素点数量为N，坐标集合表示为X＝{[x1,y1,1]；…；[xN,yN,1]}，视差集合为D＝[d1,d1,…,dN]T，则误差函数的定义如下：Ek＝||D-XAk-E′k-1||2(12)其中，Ek和Ak分别第k轮迭代的拟合误差和拟合平面参数，Ek-1＇表示上一轮迭代的误差向量，定义如下：E′k-1＝g(Ek-1)＝g(D-XAk-1)(13)其中，g(·)是一个阈值函数，g(·)的定义如下：其中，Tg是阈值；S2-3：视差精细化：利用每个子图像块拟合的视差平面，重新计算子图像块中所有像素的视差，以浮点类型保存，计算公式如下：dΩ(x,y)＝aK·x+bK·y+cK(15)其中，dΩ(x,y)表示视差精细化后(x,y)处像素点的视差值，[aK,bK,cK]为视差平面Ω的拟合参数。进一步的，步骤S2-2中的迭代线性回归分析方法包括：若视差平面Ω中的视差可靠像素点数量N与像素点总数量M的比值小于0.1，那么不对该平面进行拟合，算法结束；反之，算法继续执行；假设最大迭代次数为K；当k＝1时，设E0＇为零向量，对式12使用最小二乘法求解拟合平面参数A1，然后使用式13计算下一轮在式12中引入的误差向量E1＇；当2≤k≤K-1时，在式12中引入第k-1轮的拟合误差向量Ek-1＇，重新定义第k轮的误差函数并同样使用最小二乘法求解拟合参数Ak，最后计算Ek’；当k＝K时，求解最终的拟合参数Ak，算法结束。有益效果：本专利技术与现有技术相比，本专利技术具有以下优点：本专利技术采用描述纹理丰富区域信息的灰度及梯度特征、体现大面积无纹理区域结构以及细微本文档来自技高网...

【技术保护点】
一种新型的立体匹配代价计算，其特征在于：为基于灰度差、梯度差以及对应于Census特征的汉明距离的联合匹配代价计算。

【技术特征摘要】
1.一种新型的立体匹配代价计算，其特征在于：为基于灰度差、梯度差以及对应于Census特征的汉明距离的联合匹配代价计算。2.根据权利要求1所述的一种新型的立体匹配代价计算，其特征在于：所述匹配代价计算中对应于Census特征的汉明距离计算包括：以像素点p为中心选取一个矩形窗口W(p)，将窗口内各像素点q的灰度值分别与中心像素点p的灰度值进行比较，若q的灰度值比中心点p的灰度值大，则对q编码为1，否则编码为0；Census变换的定义如下：其中，I(p)和I(q)分别表示像素点p和q对应的灰度值，ξ(q,p)表示像素点q处的编码值；把窗口内所有像素点对应的编码值按位连接，从而构成窗口中心像素点p的汉明编码，用下面的公式表示：其中，运算符表示按位连接，H(p)表示p处的汉明编码；汉明距离的计算公式如下：其中，CH(p,d)表示视差为d时像素p对应的汉明距离，HL(p)和HR(p-d)分别表示左图像素p与右图像素p-d的汉明编码，运算符表示异或操作，||·||1为统计二进制串中1的个数，dmax是场景中的最大视差值。3.根据权利要求2所述的一种新型的立体匹配代价计算，其特征在于：所述灰度差定义如下：CI(p,d)＝|IL(p)-IR(p-d)|d∈[0,dmax-1](4)其中，IL(p)和IR(p-d)分别表示左图像素点p与右图像素点p-d的灰度值；所述梯度差定义如下CG(p,d)＝|GL(p)-GR(p-d)|d∈[0,dmax-1](5)其中，GL(p)和GR(p-d)分别表示左图像素p与右图像素p-d的梯度值。4.根据权利要求3所述的一种新型的立体匹配代价计算，其特征在于：在计算联合匹配代价过程中引入指数函数控制灰度差，梯度差和汉明距离的范围，视差为d时，图像p点对应的联合匹配代价为：E(p,d)＝ρ(CI(p,d),λI)+ρ(CG(p,d),λG)+ρ(CH(p,d),λH)(6)其中，CI(p,d)表示灰度差，CG(p,d)表示梯度差，CH(p,d)表示汉明距离，E(p,d)表示联合匹配代价，ρ(c,λ)是变量CI,CG,CH的鲁棒性函数，该指数函数控制各项差值范围，公式如下：5.基于权利要求1-4任意一项所述的一种新型的立体匹配代价计算的视差后处理方法，其特征在于：所述视差后期处理，包括以下步骤：S1、对原始视差图采用二次视差修复；S2、对修复后的视差图进行基于平面拟合的视差精细化处理。6.根据权利要求5所述的视差后处理方法，其特征在于：所述视差后期处理中对原始视差图采用二次视差修复，具体包括以下步骤：S1-1：对左右视差图作左右一致性检测，检测原则为：其中，像素点p坐标为(x,y)，dLR和dRL分别表示p点左图和右图对应的视差，当左右图中对应视差的差值小于Tc，p点通过左右一致性检测，Mask(x,y)置为1；反之，p点不通过左右一致性检测，Mask(x,y)置为0，Mask中为零的点为视差不可靠点；S1-2：基于横向扫描的视差初步修...

【专利技术属性】
技术研发人员：齐志，封倩倩，王学香，张阳，吴建辉，时龙兴，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏,32