一种改进的光学仿射不变双目立体匹配代价与视差优化方法技术

一种改进的光学仿射不变双目立体匹配代价与视差优化方法，本发明专利技术涉及改进的光学仿射不变双目立体匹配代价与视差优化方法。本发明专利技术的目的是为了解决现有方法很难得到实时性能，在光学扭曲情况下，精度受到影响，算法复杂度高，计算量大的问题。具体过程为：一、左右两个摄像头分别自动摄取两幅图像；二、对左视图和右视图进行改进的Census变换；三、计算相对梯度；四、计算双目立体匹配代价；五、对立体匹配代价进行叠加；六、建立视差置信度；七、从1到N视差置信度传递；八、从N到1视差置信度传递；九、对图像的每一列，从1到M视差置信度传递；十、从M到1视差置信度传递；十一、得到Df。本发明专利技术应用于图像处理领域。

【技术实现步骤摘要】

本专利技术涉及改进的光学仿射不变双目立体匹配代价与视差优化方法。
技术介绍
双目立体视觉广泛运用于环境三维重建，逆向工程，机器人障碍物检测等领域，双目视觉系统模仿人类视觉的立体感知过程,从两个视点观察同一景物,以获取不同视角下的感知图像,机器视觉领域可以通过三角测量原理计算左右图像对应像素间的位置偏差,以获取景物的三维信息。双目立体匹配是计算机视觉领域最有挑战性的任务之一。由于双目立体匹配算法的基本工作原理是在左右图像中寻找匹配(对应)的像素，然而，由于受光源变化，非朗伯表面和设备特性差异等因素的影响，容易造成匹配像素光学上的扭曲(即颜色上的差异)。近年来，虽然国际上已经提出了多种算法，如ANCC[1](Y.Heo,K.Lee,andS.Lee,“RobustStereoMatchingUsingAdaptiveNormalizedCross-correlation,”IEEETrans.Patt.Anal.Mach.Intell.,vol.33,pp.807-822,2011.),MDCC[2](S.Kim,B.Ham,B.Kim,andK.Sohn,“Maha-lanobisDistanceCross-CorrelationforIllumination-InvariantStereoMatching,”IEEETrans.CirtuitsSyst.VideoTechnol.,vol.24,no.11,2014.)等，这种方法虽然能获得较高的匹配精度，但是通常很难得到实时性能，文献[3](X.ZhouandP.Boulanger,“RadiometricInvariantStereoMatchingBasedonRelativeGradients,”19thIEEEInt.Conf.ImageProcess.,pp.2989-2992,2012.)提出了一种简单的双目立体匹配代价计算方法，然而当左右图像存在较大光学扭曲情况下，精度受到很大影响。另外，由于受各种因素的影响，如遮挡，光学扭曲等，双目立体匹配算法得到的初始视差图往往要经过优化算法提高精度。近年来，国际上也提出了多种视差优化算法，最常见的是平面拟合[6](S.Sinha,D.Scharstein,andR.Szeliski,“EfficientHigh-ResolutionStereoMatchingusingLocalPlaneSweeps,”IEEEConf.Comput.Vis.Patt.Recognit.,pp.1582-1589,2014.),[7](M.Bleyer,C.Rother,P.Kohli,D.Scharstein,andS.Sinha,“ObjectStereo-jointStereoMatchingandObjectSegmenta-tion,”IEEEConf.Comput.Vis.Patt.Recognit.,2011.)方法，这种方法虽然能得到很高的精度，但是算法复杂度高，另外，文献[8]提出了基于最小生成树(MST)的视差优化算法，文献[10](Q.Yang,“LocalSmoothnessEnforcedCostVolumeRegularizationforFastStereoCorrespondence,”IEEESignalProcess.Lett.,vol.22,no.9,pp.1429-1433,2015)提出了一种双边滤波的视差优化算法等。虽然基于MST树的方法在精度上优于当前的许多算法，但是其计算量仍然较大。
技术实现思路
本专利技术的目的是为了解决现有方法很难得到实时性能，在光学扭曲情况下，精度受到影响，算法复杂度高，计算量大的问题，而提出一种改进的光学仿射不变双目立体匹配代价与视差优化方法。上述的专利技术目的是通过以下技术方案实现的：步骤一、左右两个摄像头分别自动摄取两幅图像，左摄像头摄取的为左视图，右摄像头摄取的是右视图，假设输入图像的大小为m×n；以前行方向为参照，左侧设置左摄像头，右侧设置右摄像头；步骤二、对步骤一中的左视图和右视图进行改进的Census变换；步骤三、计算步骤一中的左视图和右视图的相对梯度；步骤四、根据步骤二和步骤三的结果计算双目立体匹配代价；步骤五、对立体匹配代价进行叠加；步骤六、建立视差置信度；步骤七、对图像的每一行，从(左)1到(右)N视差置信度传递；步骤八、对图像的每一行，从(右)N到(左)1视差置信度传递；步骤九、对图像的每一列，(从上到下)从1到M视差置信度传递；步骤十、对图像的每一列，从(下)M到(上)1视差置信度传递；步骤十一、得到优化后的视差图Df。专利技术效果本专利技术提出了一种改进的光学仿射不变双目立体匹配代价与视差优化方法，提出的双目立体匹配代价方法有效的结合了改进的census变换和相对梯度算法，从匹配精度和效率综合上看，该算法具有明显优势(用Middlebury网站上的测试图片Aloe作为比较,在2.0GHz主频，2GB内存的英特尔双核笔记本的环境下采用C语言编程，匹配代价算法的运行时间为0.563秒，通过利用Middlebury网站上的测试集((Aloe,Baby1,Cloth4,Art,Dolls，LaundryandMoebius))统计算法的精度，结果表明本文提出的匹配代价算法的精度全面优于[3],在光学扭曲变形较大时，其性能接近ANCC，但是当光学扭曲变形较小时，算法的精度优于ANCC，另外，本文提出的匹配代价算法的计算量远小于ANCC。)。此外，本专利技术提出的视差优化方法在保证精度的同时(算法的精度与[12]相当，但优于[10])，具有很低的计算复杂度，计算量小(用图片Aloe作为比较，文献[10]大约需要956ms,文献[12](C.Rhemann,A.Hosni,M.Bleyer,andetal.,“FastCost-volumeFilteringforVisualCorrespondenceandBeyond,”Proc.IEEEConf.Comput.Vis.Patt.Recognit.,pp.3017-3024,2011.)大约需要10.7ms,而本文方法只需18.4ms)，因此适合使用于对实时性要求高的场合。附图说明图1a为网站Middlebury上的样本图片Midd2；图1b为对图1a处理后所得的绝对梯度图；图1c为对图1a处理后所得的相对梯度图；图2a为光照1(亮度1定义为亮度最暗的测试图片)和曝光2(曝光时间1000ms)条件下的左视图；图2b为光照3(亮度最大的测试图片)和曝本文档来自技高网...

【技术保护点】
一种改进的光学仿射不变双目立体匹配代价与视差优化方法，其特征在于一种改进的光学仿射不变双目立体匹配代价与视差优化方法具体是按照以下步骤进行的：步骤一、左右两个摄像头分别自动摄取两幅图像，左摄像头摄取的为左视图，右摄像头摄取的是右视图，假设输入图像的大小为m×n；以前行方向为参照，左侧设置左摄像头，右侧设置右摄像头；步骤二、对步骤一中的左视图和右视图进行改进的Census变换；步骤三、计算步骤一中的左视图和右视图的相对梯度；步骤四、根据步骤二和步骤三的结果计算双目立体匹配代价；步骤五、对立体匹配代价进行叠加；步骤六、建立视差置信度；步骤七、对图像的每一行，从1到N视差置信度传递；步骤八、对图像的每一行，从N到1视差置信度传递；步骤九、对图像的每一列，从1到M视差置信度传递；步骤十、对图像的每一列，从M到1视差置信度传递；步骤十一、得到优化后的视差图Df。

【技术特征摘要】
1.一种改进的光学仿射不变双目立体匹配代价与视差优化方法，其特征在于一种改进
的光学仿射不变双目立体匹配代价与视差优化方法具体是按照以下步骤进行的：
步骤一、左右两个摄像头分别自动摄取两幅图像，左摄像头摄取的为左视图，右摄像头
摄取的是右视图，假设输入图像的大小为m×n；以前行方向为参照，左侧设置左摄像头，右
侧设置右摄像头；
步骤二、对步骤一中的左视图和右视图进行改进的Census变换；
步骤三、计算步骤一中的左视图和右视图的相对梯度；
步骤四、根据步骤二和步骤三的结果计算双目立体匹配代价；
步骤五、对立体匹配代价进行叠加；
步骤六、建立视差置信度；
步骤七、对图像的每一行，从1到N视差置信度传递；
步骤八、对图像的每一行，从N到1视差置信度传递；
步骤九、对图像的每一列，从1到M视差置信度传递；
步骤十、对图像的每一列，从M到1视差置信度传递；
步骤十一、得到优化后的视差图Df。
2.根据权利要求1所述一种改进的光学仿射不变双目立体匹配代价与视差优化方法，
其特征在于：所述步骤二中对步骤一中的左视图和右视图进行改进的Census变换；具体过
程为：
(1)设置光学模型：
其中，mb和ms是视角不相关和视角相关的贡献权值，e代表光照强度，b代表表面反射率，
α代表漫射光；
(2)传统的Census变换定义为中心像素p与其邻域内的像素q∈N(p)的比较，然而改进
的Census变换是基于相对梯度的：
其中，代表以p为中心的3×3区域内相对梯度RG(x,y)的平均值，如图11，N(p)
代表像素p的一个邻域，q为q(x,y),p为p(x,y)；T(p,q)为Census变换，RG(q)为像素q的相对
梯度，相对梯度运算公式为：
RG(x,y)＝G(x,y)/(1+Gmax(x,y))
其中，RG(x,y)是像素p(x,y)的相对梯度，Gmax(x,y)是以像素p(x,y)为中心的3×3区域
内梯度G(x,y)的最大值；
Gmax(x,y)＝max(|G(x+m,y+n)|),-1≤m≤1,-1≤n≤1
式中，m，n是输入图像的大小。
3.根据权利要求2所述一种改进的光学仿射不变双目立体匹配代价与视差优化方法，
其特征在于：所述步骤四中根据步骤二和步骤三的结果计算双目立体匹配代价；具体过程
为...

【专利技术属性】
技术研发人员：王进祥，石金进，张垚，付方发，陈少娜，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：黑龙江;23