基于视差信息的自适应权重聚合的立体匹配算法制造技术

本发明专利技术涉及一种基于视差信息的自适应权重聚合的立体匹配算法，包括：设定左图像作为参考图像IR、右图像为目标图像IT；采用截断亮度联合截断梯度的初始匹配代价计算方法计算得到参考图像的初始匹配代价pR，并根据基于窗口聚合的立体匹配算法对pR进行聚合匹配，得到参考图像初始视差图Dori_R；计算自适应聚合权重平滑参数；得到聚合权重W(i,j)→(x,y)；将聚合权重W(i,j)→(x,y)与初始匹配代价pR相乘后进行聚合，对聚合得到的结果采用WTA策略获取参考图像视差图；设定右图像作为参考图像IR、左图像为目标图像IT，重复步骤(2)、(3)、(4)、(5)，对得到的两幅视差图采用常规的视差精炼方法后即可得到精炼后的参考图像视差图。

【技术实现步骤摘要】
基于视差信息的自适应权重聚合的立体匹配算法
本专利技术涉及计算机立体视觉领域中的立体匹配，可用于图像的三维重建，在医学图像、媒体设备等中提供指导。
技术介绍
立体匹配技术是计算机视觉领域内的研究热点之一，该技术通过精确的相机标定、像素匹配后可以得到较为准确的深度和位置等数值信息，这使得机器人的精密控制、三维模型重建等工作可以更好的完成。立体匹配的精度直接影响到场景三维重建效果以及深度计算的精度。目前的立体匹配算法主要分为局部立体匹配算法以及全局立体匹配算法，全局算法主要是通过构建数据项与平滑项用以组成全局的能量函数，并对能量函数进行优化求解，使其达到最小化，从而得出场景的视差信息，在定义能量函数方面，不同的算法采用不同的匹配信息和不同的先验假设来描述能量函数中的不同部分，通过这些假设把大量的特征联系起来，联合求解以消除歧义。相较于全局算法，局部算法通常只需要构建数据项作为能量函数的唯一组成成分，最小化能量函数后得到相应的初始匹配结果，并通过后续的优化过程以提高匹配的精度。传统的基于权重聚合的局部立体匹配算法依据图像的亮度差异信息进行立体匹配的计算。由于该算法的聚合权重只依据图像亮度差异信息，忽略了视差差异信息对于聚合的影响，因此得到的匹配精度有限。此外，该算法需要对不同特性的图像设置不同的聚合权重平滑参数值，缺乏一定的自适应性。立体匹配应用于众多科技领域，有着广泛的应用前景。近年来，计算机视觉理论的发展为获得高精度的立体匹配效果提供了理论基础。
技术实现思路
本专利技术针对上述问题提出一种基于视差信息的自适应权重聚合的立体匹配算法，利用参考图像每个像素点与待匹配中心像素点间的亮度差异信息以及初始匹配得到的视差差异信息构建新的聚合权重，同时将视差差异信息单独用于构建具有自适应性的聚合权重平滑参数，本专利技术的技术方案如下：一种基于视差信息的自适应权重聚合的立体匹配算法，包括下列步骤：(1)设定左图像作为参考图像IR、右图像为目标图像IT；(2)采用截断亮度联合截断梯度的初始匹配代价计算方法计算得到参考图像的初始匹配代价pR，并根据基于窗口聚合的立体匹配算法对pR进行聚合匹配，得到参考图像初始视差图Dori_R；(3)设参考图像的中心像素点为(x,y)，参考图像中任意像素点为(i,j)，根据公式计算像素点(k1,y)与像素点(k1-1,y)之间的自适应聚合权重平滑参数值β(k1,y)→(k1-1,y)，其中k1为横向坐标变量且k1∈[min(i,x)+1,max(i,x)]，β0为常数，根据公式计算像素点(x,k2)与像素点(x,k2-1)之间的自适应聚合权重平滑参数值β(x,k2)→(x,k2-1)，其中k2为纵向坐标变量且k2∈[min(j,y)+1,max(j,y)]；(4)根据公式计算像素点(k1,y)与(k1-1,y)之间亮度差异信息G(k1,y)→(k1-1,y)，根据公式计算像素点(x,k2)与(x,k2-1)之间亮度差异信息G(x,k2)→(x,k2-1)；然后根据公式计算像素点(k1,y)与(k1-1,y)之间初始视差差异信息D(k1,y)→(k1-1,y)，同时根据公式计算像素点(x,k2)与(x,k2-1)之间初始视差差异信息D(x,k2)→(x,k2-1)；最后将k1,k2取值范围内所有的G(k1,y)→(k1-1,y)、G(x,k2)→(x,k2-1)、D(k1,y)→(k1-1,y)、D(x,k2)→(x,k2-1)相乘即可得到聚合权重W(i,j)→(x,y)；(5)将聚合权重W(i,j)→(x,y)与初始匹配代价pR相乘后进行聚合，对聚合得到的结果采用WTA策略获取参考图像视差图；(6)设定右图像作为参考图像IR、左图像为目标图像IT，重复步骤(2)、(3)、(4)、(5)，对得到的两幅视差图采用常规的视差精炼方法后即可得到精炼后的参考图像视差图。总之，本专利技术针对传统的基于权重聚合的立体匹配算法中存在的不足,提出一种基于视差信息的自适应权重聚合的立体匹配算法，根据参考图像中每个像素点与待匹配的中心像素点间的亮度差异信息以及初始视差差异信息，构建新的聚合权重，较好的解决了传统基于权重聚合的立体匹配算法所缺乏的自适应性问题。本专利技术能够获得更为精准的立体匹配结果，有着广泛的应用前景。附图说明图1本专利技术的基于视差信息的自适应权重聚合的立体匹配算法流程图。图2为本专利技术采用的标准测试图像，(a)为Tsukuba左图，(b)为Venus左图，(c)为Teddy左图，(d)为Cones左图。图3为传统的基于权重聚合立体匹配算法得到的匹配效果图，(a)为传统算法得到的Tsukuba左视差图，(b)为传统算法得到的Venus左视差图，(c)为传统算法得到的Teddy左视差图，(d)为传统算法得到的为Cones左视差图。图4为本专利技术得到的匹配效果图，(a)为本专利技术得到的Tsukuba左视差图，(b)为本专利技术得到的Venus左视差图，(c)为本专利技术得到的Teddy左视差图，(d)为本专利技术得到的为Cones左视差图。具体实施方式本专利技术基于视差信息的自适应权重聚合的立体匹配算法，主要由三部分组成：初始视差信息的计算、自适应聚合权重的计算、最终视差图的计算。具体步骤和原理如下：101：将参考图像、目标图像分别记做IR、IT，同时以左图作为参考图像、右图作为目标图像；102：初始视差信息的计算；设定参考图像初始匹配代价的计算方式：采用立体匹配技术中任意常用的截断亮度初始匹配代价联合截断梯度初始匹配代价计算方法，计算得到参考图像的初始匹配代价pR(i,j,d)(其中i、j、d分别为参考图像的横坐标、纵坐标、视差搜索值)。并根据传统的基于窗口聚合的立体匹配算法对pR(i,j,d)进行聚合匹配，得到参考图像初始视差图Dori_R。其中分别为参考图像的梯度、目标图像的梯度；dmin、dmax分别为视差搜索的最小、最大值；ω(x,y)为以(x,y)为中心像素点，尺寸为11×11的聚合窗口，x,y分别为中心像素点的横、纵坐标；103：依据参考图像的亮度以及初始视差信息计算参考图像IR中每个像素点(i,j)(其中i,j分别为此像素点的横、纵坐标)与待匹配的中心像素点(x,y)(其中x,y分别为此像素点横、纵坐标)的聚合权重W(i,j)→(x,y)；W(i,j)→(x,y)＝G(i,j)→(x,y)·D(i,j)→(x,y)其中G(i,j)→(x,y)、D(i,j)→(x,y)分别为像素点(i,j)与像素点(x,y)之间的亮度差异信息、初始视差差异信息；k1,k2为坐标变量，相应的变化范围已经在G(i,j)→(x,y)、D(i,j)→(x,y)各自表达式中给出；β(k1,y)→(k1-1,y)为像素点(k1,y)与像素点(k1-1,y)之间的自适应聚合权重平滑参数值，β(x,k2)→(x,k2-1)为像素点(x,k2)与像素点(x,k2-1)之间的自适应聚合权重平滑参数值，β0为常数，β0＝64；当像素点(i,j)与(x,y)之间的亮度差异信息G(i,j)→(x,y)、D(i,j)→(x,y)越小且同时初始视差差异信息G(i,j)→(x,y)、D(i,j)→(x,y)越小时，聚合权重W(i,j)→(x,y)的值越大，即像素点本文档来自技高网...

【技术保护点】
一种基于视差信息的自适应权重聚合的立体匹配算法，包括下列步骤：(1)设定左图像作为参考图像IR、右图像为目标图像IT；(2)采用截断亮度联合截断梯度的初始匹配代价计算方法计算得到参考图像的初始匹配代价pR，并根据基于窗口聚合的立体匹配算法对pR进行聚合匹配，得到参考图像初始视差图Dori_R；(3)设参考图像的中心像素点为(x,y)，参考图像中任意像素点为(i,j)，根据公式

【技术特征摘要】
1.一种基于视差信息的自适应权重聚合的立体匹配算法，包括下列步骤：(1)设定左图像作为参考图像IR、右图像为目标图像IT；(2)采用截断亮度联合截断梯度的初始匹配代价计算方法计算得到参考图像的初始匹配代价pR，并根据基于窗口聚合的立体匹配算法对pR进行聚合匹配，得到参考图像初始视差图Dori_R；(3)设参考图像的中心像素点为(x,y)，参考图像中任意像素点为(i,j)，根据公式计算像素点(k1,y)与像素点(k1-1,y)之间的自适应聚合权重平滑参数值β(k1,y)→(k1-1,y)，其中k1为横向坐标变量且k1∈[min(i,x)+1,max(i,x)]，β0为常数，根据公式计算像素点(x,k2)与像素点(x,k2-1)之间的自适应聚合权重平滑参数值β(x,k2)→(x,k2-1)，其中k2为纵向坐标变量且k2∈[min(j,y)+1,max(j,y)]；(4)根据公式计算像素点(k1,y)与(k1-1,y)之间亮度差异信息G(...

【专利技术属性】
技术研发人员：朱程涛，李锵，滕建辅，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12