基于窗口互相关信息的改进Census立体匹配算法制造技术

本发明专利技术公开了基于窗口互相关信息的改进Census立体匹配算法,包括以下步骤：1)用一个窗口遍历双目摄像头拍摄到的左图像，取窗口内各像素灰度值的平均值作为参考值；2)在参考值的基础上增加了一个噪声阈值作为另一约束条件，进行Census变换；3)使用SAD‑Census进行加权匹配代价的计算，并在双目摄像头拍摄到的右图像中找到对应匹配值最小的窗口。本发明专利技术提高了算法的鲁棒性，减少了噪声干扰，丰富了图像的细节信息，同时降低了误匹配率，在深度不连续区域的改进效果明显。

Improved census stereo matching algorithm based on window cross-correlation information

【技术实现步骤摘要】
基于窗口互相关信息的改进Census立体匹配算法
本专利技术涉及数字图像处理领域，具体涉及一种基于窗口互相关信息的改进Census立体匹配算法。
技术介绍
距离信息的获取是可以通过双目视觉来完成的，而双目立体匹配是双目立体视觉的核心与关键。立体匹配算法首先需要构造一个能量代价函数，然后通过求解该能量代价函数的最小值进而完成对像素点视差值的估计，获取视差图，从而得到深度信息[参见：宋伟，纳鹏宇，刘宁宁.基于双目视觉系统的运动目标跟踪算法研究[J].北京交通大学学报，2013，37(6)：13-17]。立体匹配算法的本质为求取函数的最优值，设置恰当的能量代价函数，并添加约束条件，最后借助最优化理论来完成方程的求解[参见：ScharsteinD,SzeliskiR.ATaxonomyandEvaluationofDenseTwo-FrameStereoCorrespondenceAlgorithms[C]//Smbv.IEEEComputerSociety,(密集两帧立体对应算法的分类和评估，IEEE计算机学会)2001,47(1-3):0131]。按照不同的分类标准，可以将立体匹配算法进行不同的分类。根据采用图像表示的基元不同，立体匹配算法可分为四类：区域立体匹配算法、基于特征的立体匹配算法和基于相位的立体匹配算法[参见：胡海.基于双目立体视觉的相位匹配算法研究[D].中南大学，2013]。也可以根据最优化理论的不同，将立体匹配算法划分为全局匹配算法和局部匹配算法。基于生成的视差图可以分为稠密匹配和稀疏匹配[参见：YuW,ChenT,FranchettiF,etal.HighPerformanceStereoVisionDesignedforMassivelyDataParallelPlatforms[J].IEEETransactionsonCircuits&SystemforVideoTechnology(专为海量数据并行平台设计的高性能立体视觉，IEEE视频技术电路与系统处理),2010,20(11):1509-1519]，稠密匹配是指所有的像素都能生成确定的视差值，稀疏匹配是指只选择关键像素点(通常为角点或者边缘点)计算视差，该方法使用效率较高，但后续缺失像素点的视差值还需要通过插值算法的方式来进行计算，因此在场景应用方面受到很大限制。全局立体匹配算法是通过全局优化理论来估算视差，构造一个包含数据项和平滑项的全局性能量代价函数，并采用求取函数最小值的方法获取最佳视差值，其中常见的全局立体匹配算法有：动态规划(DP)、图割法(GC)、置信传播(BP)[参见：马帅.一种改进置信度传播提取视差图算法研究[D].辽宁大学，2016]等。局部立体匹配算法也通常被称为基于窗口的匹配方法或者基于支持区域的匹配方法[参见：MeiX,SunX,ZhouM,etal.Onbuildinganaccuratestereomatchingsystemongraphicshardware[C]//IEEEInternationalConferenceonComputerVisionWorkshops(在图形硬件上构建准确的立体声匹配系统，IEEE计算机视觉国际会议研讨会).IEEE,2012,21(5):467-474]。算法借助参考图像中的每一个像素计算出一个大小、形状和权重合适的匹配窗口，进而对这个窗口的所有视差进行加权平均计算。理想的支持窗口模型可以通过覆盖窗口中的弱纹理区域使得窗口内的图像具有连续的深度。与全局立体匹配算法类似，局部立体匹配算法也是采取最优化代价函数的方式来求取最佳视差，但是局部立体匹配算法对于弱纹理区域、重复纹理区域、视差不连续区域以及被遮挡区域的视差图不理想。常用的局部立体匹配算法主要包括SAD(像素差绝对值之和)、SSD(像素差平方和)、NCC(归一化互相关)等。其中SAD算法快速、但并不精确。Zabih[ZabihR,WoodfillJ.Non-parametriclocaltransformsforcomputingvisualcorrespondence[C]//ComputerVision-ECCV’94(用于计算视觉对应关系的非参数局部变换，计算机视觉ECCV).1994:151-158]等提出将非参数变换引入立体匹配中，非参数变换是以像素点在窗口中的灰度顺序为基础，经过非参数变换后的图像像素矩阵不再代表灰度值本身，而是表示图像中每个像素点在窗口中的灰度值顺序，或者表示图像每个像素与参考像素灰度值大小的比较。外界的噪声、光照等干扰不易影响到各点灰度值在窗口中的相对大小，故具有较强的稳定性和抗干扰能力，但如果中心像素点的灰度值受到较大的干扰，立体匹配算法的稳定性会大打折扣。传统的非参数变换主要包括rank变换和Census变换，其中Census变换较典型且运用的最为广泛，但其在噪声抑制和图像细节方面存在的缺陷。
技术实现思路
本专利技术的目的在于克服已有技术的缺点，提供一种匹配准确度较高的基于窗口互相关信息的改进Census变换进行优化的算法。本专利技术的技术方案为：本专利技术的一种基于窗口互相关信息的改进Census立体匹配算法，包括以下步骤：第一步，采用计算机视觉库OpenCV对双目摄像头拍下选定图的左图像进行灰度化处理，得到左图像各像素的灰度值，然后通过长、宽为别为m和n的矩形窗口与双目摄像头的左图像的前m行和前n列像素对齐，求取窗口内各像素灰度值的平均值作为参考值，计算公式为：上式中，p表示一个像素点；I(p)表示窗口内任一像素值；表示窗口内像素的平均值；第二步，分别计算窗口内中心像素各邻域的噪声阈值，表达式为：τ＝λ·I(q)+ω上式中，q表示像素点p的邻域的某一像素点，λ·I(q)表示由摄像机畸变引起的噪声，I(q)表示窗口中心像素邻域内任一像素的灰度值，λ表示畸变常数；ω表示环境噪声阈值；第三步，计算窗口内中心像素各邻域像素值与参考值的灰度值差异，公式为：第四步，采用两位二进制码表示中心像素各邻域像素灰度值相对于中心像素的大小关系，方法如下：式中，ξ[I(p),I(q)]表示对窗口内中心像素和其邻域像素进行编码的值，是一个二进制的序列；第五步，采用计算机视觉库OpenCV对双目摄像头拍下选定图的右图像进行灰度化处理，然后采用第一步同样大小的矩形窗口与右图像的前m行和前n列像素对齐，重复第一步至第四步得到该窗口内图像的二进制编码序列；对左图像的矩形窗口内的图像信息和右图像矩形窗口内的图像信息使用改进Census立体匹配算法的匹配代价公式进行计算得到改进后的匹配代价值C(p,d)，表达式为：C(p,d)＝λCensusCCensus(p,d)+λSADCSAD(p,d)CCensus(p,d)表示Census变换的匹配代价，即像素点p处的匹配代价，d表示双目摄像头左图像和双目摄像头右图像的视差；Li和Ri表示左右图像对应位置的长度本文档来自技高网...

【技术保护点】
1.基于窗口互相关信息的改进Census立体匹配算法，其特征在于包括以下步骤：/n第一步，采用计算机视觉库OpenCV对双目摄像头拍下选定图的左图像进行灰度化处理，得到左图像各像素的灰度值，然后通过长、宽为别为m和n的矩形窗口与双目摄像头的左图像的前m行和前n列像素对齐，求取窗口内各像素灰度值的平均值

【技术特征摘要】
1.基于窗口互相关信息的改进Census立体匹配算法，其特征在于包括以下步骤：
第一步，采用计算机视觉库OpenCV对双目摄像头拍下选定图的左图像进行灰度化处理，得到左图像各像素的灰度值，然后通过长、宽为别为m和n的矩形窗口与双目摄像头的左图像的前m行和前n列像素对齐，求取窗口内各像素灰度值的平均值作为参考值，计算公式为：



上式中，p表示一个像素点；I(p)表示窗口内任一像素值；表示窗口内像素的平均值；
第二步，分别计算窗口内中心像素各邻域的噪声阈值，表达式为：
τ＝λ·I(q)+ω
上式中，q表示像素点p的邻域的某一像素点，λ·I(q)表示由摄像机畸变引起的噪声，I(q)表示窗口中心像素邻域内任一像素的灰度值，λ表示畸变常数；ω表示环境噪声阈值；
第三步，计算窗口内中心像素各邻域像素值与参考值的灰度值差异，公式为：



第四步，采用两位二进制码表示中心像素各邻域像素灰度值相对于中心像素的大小关系，方法如下：



式中，ξ[I(p)，I(q)]表示对窗口内中心像素和其邻域像素进行编码的值，是一个二进制的序列；
第五步，采用计算机视觉库OpenCV对双目摄像头拍下选定图的右图像进行灰度化处理，然后采用第一步同样大小的矩形窗口与右图像的前m行和前n列像素对齐，重复第一步至第四步得到该窗口内图像的二进制编码序列；对左图像的矩形窗口内的图像信息和右图像矩...

【专利技术属性】
技术研发人员：薛俊韬，黑俊杰，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12