本发明专利技术涉及一种旋转和尺度不变的宽基线立体匹配方法，包括：S1、对基准图像和参考图像进行初始的旋转和尺度不变的稀疏特征匹配；S2、对基准图像中的当前像素点，先计算局部几何变换矩阵和初始匹配点，然后选取方形匹配窗口，根据几何变换矩阵得到归一化后的匹配窗口；S3、在参考图像中搜索当前像素点的最佳匹配点，并记录匹配的可信度；S4、重复步骤S2至S3，直至遍历图像的所有像素点，并按照可信度将得到的匹配点分类；S5、输出稠密视差图，显示立体匹配结果。与现有技术相比，本发明专利技术能较好地处理存在旋转和尺度变化的宽基线立体图像匹配，得到准确、稠密的视差图，具有鲁棒可靠、匹配精度高、设计简单等特点以及较高的实用价值。
【技术实现步骤摘要】
一种旋转和尺度不变的宽基线立体匹配方法
本专利技术涉及计算机视觉与图像处理领域，尤其是涉及一种旋转和尺度不变的宽基线立体匹配方法，可广泛应用于三维重建、立体显示、目标跟踪以及图像拼接等领域。
技术介绍
立体匹配是计算机视觉领域的热点问题，也是三维重建、立体显示、目标跟踪、图像拼接等应用的核心技术。它的目标是在两幅或者多幅同一场景的图像中寻找对应点，最终得到匹配图像的视差图。视差图是以图像对中的任意一幅图像为基准，大小为该基准图像的大小，元素值为视差值的图像。稠密、准确的视差图能为后续应用提供可靠的数据支持。D.Scharstein和R.Szeliski总结了传统的双目视觉立体匹配算法(D.Scharstein,R.Szeliski.“ATaxonomyandEvaluationofDenseTwo-FrameStereoCorrespondenceAlgorithms.”IJCV,2002,pp.7-42.)，并将其分为两类：全局方法和局部方法。在全局方法中，立体匹配通常被转化为一个全局代价函数最小化的问题，通过例如信念传播、图割等优化方法寻找全局最优解。全局方法的匹配精度较高，能较好地处理遮挡、物体边缘和低纹理区域。但是全局代价函数构造复杂、难以控制，尤其是当约束项增加时，优化问题难以处理，计算结果通常依赖初值、容易陷入局部最优，计算复杂度随搜索范围的扩大而显著增加。在局部方法中，通常先为候选匹配对选择匹配窗口，然后基于窗口图像的相似度在一定视差范围内搜索最佳对应点，逐点计算获取稠密视差图。其中匹配区域的选择和区域图像相似度函数的设计是两大难点问题。基于窗口匹配的局部方法设计简单、计算速度快，在立体匹配中得到了广泛的应用。2006年，K.Yoon提出加权窗的方法(K.J.Yoon,I.S.Kweon.“AdaptiveSupport-WeightApproachforCorrespondenceSearch.”TPAMI,2006,pp.650-656.)，在不改变窗口形状的情况下，基于颜色相似性和空间距离对窗口中像素的匹配代价加权，增加了窗口选择的灵活性，并显著提高了匹配精度。传统的立体匹配算法侧重于研究窄基线的双目图像(如Middlebury数据库中的图像)，即要求输入图像对大致相同，通常只存在一个方向的微小视差，这对相机的空间配置提出了较高的要求，即要求光轴平行且基线距离较小，在实际应用中存在局限性。近年来，宽基线图像的稀疏匹配取得了较大的成功，大量关键点检测算法(K.Mikolajczyk,T.Tuytelaars.“AComparisonofAffineRegionDetectors.”IJCV,2005.pp.43-72.)和特征描述子的构造方法(K.Mikolajczyk,C.Schmid.“Aperformanceevaluationoflocaldescriptors”.TPAMI,2005,pp.1615-1630.)被提出。这些算法的抗噪能力强，对图像的旋转和尺度变化具有不变性，甚至在图像经过仿射变换和视角变化后依然能找到可靠的匹配。但是在低纹理区域或者高重复纹理区域，很难提取出这样的特征，因此无法获得稠密的匹配。在宽基线立体视觉系统的图像匹配领域，一种基于“种子点-传播”策略的准密集匹配方法(J.Kannala,S.Brandt.“Quasi-DenseWideBaselineMatchingUsingMatchPropagation.”CVPR.2007,pp.2126-2133.)被提出。其思想是先利用局部不变性特征进行稀疏匹配，作为种子点，然后以它为参考在相邻像素点搜索新的匹配，并加入到种子点中，循环往复，进行传播，直到传遍整幅图像。这类算法能够得到准稠密的视差图，匹配精度较高，然而有些区域依然无法找到匹配，这是因为这些区域的种子点数量稀少，或者传播在物体边缘难以继续。宽基线立体视觉系统的图像匹配技术还很不成熟，专利技术一种旋转和尺度不变的宽基线立体匹配方法具有十分重要的意义，有利于把立体匹配技术应用到实际问题中去。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种旋转和尺度不变的宽基线立体匹配方法。本专利技术的目的可以通过以下技术方案来实现：一种旋转和尺度不变的宽基线立体匹配方法，其特征在于，包括以下步骤：S1、读取待匹配的宽基线立体图像对：基准图像Il和参考图像Ir，对这两幅图像进行初始的旋转和尺度不变的稀疏特征匹配；S2、对基准图像Il中的当前像素点pl，先利用初始稀疏匹配结果计算局部几何变换矩阵H，再计算当前像素点pl在参考图像Ir中的初始匹配点pr0，即pr0＝H*pl，然后选取方形匹配窗口Nl，根据局部几何变换矩阵H归一化该窗口，使归一化后的匹配窗口Nr能根据两幅图像之间的几何变换自适应地调整大小、方向及形状，捕捉相同场景的图像内容，其中pl，pr0是齐次坐标，即pl＝(xl,yl,1)T,pr0＝(xr0,yr0,1)T；S3、对基准图像Il中的像素点pl，在参考图像Ir中以pl+d0为中心选取邻域Npr0内的若干个候选匹配点pr，采用加权的零均值归一化互相关算法计算窗口图像的匹配代价CWMZNCC(pl,pr)，搜索匹配代价最小的候选匹配点pr作为像素点pl的最佳匹配点，并记录匹配的可信度S，其中，d0为当前像素点pl与其初始匹配点pr0的初始视差，即d0＝(xr0-xl，yr0-yl)T，式中，Il(ql)表示图像Il中位置为ql的像素点的灰度值，Ir(qr)表示图像Ir中位置为qr的像素点的灰度值，是窗口Nl中所有像素点灰度值的均值，是窗口Nr中所有像素点灰度值的均值，权值wl(pl,ql)、wr(pr,qr)由下式给出：其中，表示q点和p点在Lab颜色空间的颜色相似度，即欧几里德距离，表示q点和p点在空间位置上的欧几里德距离，γc、γp是根据经验设定的比例常数，分别用来调节颜色相似度和几何接近性对权值大小的影响；S4、重复步骤S2至S3，直至遍历图像Il的所有像素点，并按照可信度S将得到的匹配点分为可靠匹配点、不可靠匹配点和遮挡点，即其中S1为遮挡点阈值，S2为可靠匹配点阈值；S5、先以不可靠匹配点周围区域内的可靠匹配点作为参考，校正当前像素点的视差，再由遮挡点周围可靠匹配点的视差插值得到该遮挡点的视差，最后输出稠密视差图，显示立体匹配结果。实施步骤S1所述的初始的旋转和尺度不变的稀疏特征匹配具体为：11)分别提取两幅图像中具有局部不变性特征的SIFT关键点，构建旋转和尺度不变的特征描述子，并根据特征描述子的相似度完成初始关键点匹配；12)分别提取两幅图像中的角点，以步骤11)中的关键点为参考进行角点匹配；13)采用RANSAC方法和外极线约束优化关键点匹配和角点匹配，最终得到可靠的稀疏匹配。获得步骤S2所述的归一化后的匹配窗口Nr具体为：21)对基准图像Il中的当前像素点pl，选取一个距离最近的SIFT匹配对，利用SIFT特征描述子的尺度和角度信息计算局部几何变换矩阵H，它包含四个自由度，其形式是：式中，(xs1,ys1)为SIFT关键点在基准图像I1中的位置信息，(xs2,ys2)为SIFT关键点在参考图像Ir中的位置信息，本文档来自技高网...
【技术保护点】
一种旋转和尺度不变的宽基线立体匹配方法，其特征在于，包括以下步骤：S1、读取待匹配的宽基线立体图像对：基准图像Il和参考图像Ir，对这两幅图像进行初始的旋转和尺度不变的稀疏特征匹配；S2、对基准图像Il中的当前像素点pl，先利用初始稀疏匹配结果计算局部几何变换矩阵H，再计算当前像素点pl在参考图像Ir中的初始匹配点pr0，即pr0＝H*pl，然后选取方形匹配窗口Nl，根据几何变换矩阵H归一化该窗口，使归一化后的匹配窗口Nr能根据两幅图像之间的几何变换自适应地调整大小、方向及形状，捕捉相同场景的图像内容，其中pl，pr0是齐次坐标，即pl＝(xl，yl，1)T，pr0＝(xr0，yr0，1)T；S3、对基准图像Il中的像素点pl，在参考图像Ir中以pl+d0为中心选取邻域内的若干个候选匹配点pr，采用加权的零均值归一化互相关算法计算窗口图像的匹配代价CWMZNCC(pl，pr)，搜索匹配代价最小的候选匹配点pr作为像素点pl的最佳匹配点，并记录匹配的可信度S， S = 1 - min p r ∈ N p r 0 ( C WMZNCC ( p l , p r ) ) 其中，d0为当前像素点pl与其初始匹配点pr0的初始视差，即d0＝(xr0‑xl，yr0‑yl)T， C WMZNCC ( p l , p r ) = 1 - 2 Σ q l ∈ N l , q r ∈ N r w l ( p l , q l ) w r ( p r , q r ) ( I l ( q l ) - I l ‾ ...
【技术特征摘要】
1.一种旋转和尺度不变的宽基线立体匹配方法，其特征在于，包括以下步骤：S1、读取待匹配的宽基线立体图像对：基准图像Il和参考图像Ir，对这两幅图像进行初始的旋转和尺度不变的稀疏特征匹配；S2、对基准图像Il中的当前像素点pl，先利用初始稀疏匹配结果计算局部几何变换矩阵H，再计算当前像素点pl在参考图像Ir中的初始匹配点pr0，即pr0＝H*pl，然后选取方形匹配窗口Nl，根据局部几何变换矩阵H归一化该窗口，使归一化后的匹配窗口Nr能根据两幅图像之间的几何变换自适应地调整大小、方向及形状，捕捉相同场景的图像内容，其中pl，pr0是齐次坐标，即pl＝(xl,yl,1)T,pr0＝(xr0,yr0,1)T；S3、对基准图像Il中的像素点pl，在参考图像Ir中以pl+d0为中心选取邻域Npr0内的若干个候选匹配点pr，采用加权的零均值归一化互相关算法计算窗口图像的匹配代价CWMZNCC(pl，pr)，搜索匹配代价最小的候选匹配点pr作为像素点pl的最佳匹配点，并记录匹配的可信度S，其中，d0为当前像素点pl与其初始匹配点pr0的初始视差，即d0＝(xr0-xl，yr0-yl)T，式中，Il(ql)表示图像Il中位置为ql的像素点的灰度值，Ir(qr)表示图像Ir中位置为qr的像素点的灰度值，是窗口Nl中所有像素点灰度值的均值，是窗口Nr中所有像素点灰度值的均值，权值wl(pl,ql)、wr(pr,qr)由下式给出：其中，表示q点和p点在Lab颜色空间的颜色相似度，即欧几里德距离，表示q点和p点在空间位置上的欧几里德距离，γc、γp是根据经验设定的比例常数，分别用来调节颜色相似度和几何接近性对权值大小的影响；S4、重...
【专利技术属性】
技术研发人员：石繁槐，高健，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。