一种立体匹配方法及系统技术方案

本发明专利技术公开了立体匹配方法及系统，方法包括：获取参考图像以及目标图像，确定聚合区域的视差区域；利用分块变换算法将参考图像变换为聚合参考图像，目标图像变换为聚合目标图像；分别计算图像的CENSUS特征，得到聚合参考图像与聚合目标图像的匹配代价值；分别计算各参考分块图像与对应的相同分块位置的目标分块图像的区域代价聚合；当存在匹配代价值大于区域代价聚合则重新分割区域对应的参考分块图像以及目标分块图像并计算分割后的区域代价聚合，直到匹配代价值均小于各区域代价聚合；计算各参考分块图像与对应目标分块图像中每个像素的代价聚合第一视差图像；能够有效地解决弱纹理区域误匹配的问题，计算量较小，实时性好。

【技术实现步骤摘要】
一种立体匹配方法及系统
本专利技术涉及计算机视觉与图像处理领域，特别涉及一种立体匹配方法及系统。
技术介绍
立体匹配是计算机视觉领域的重要组成部分，也是许多3D应用的核心部分。目前，立体匹配方法主要分为局部匹配方法、全局匹配方法以及半全局匹配方法等三类。其中，局部匹配方法复杂度低，运算量小，但匹配效果较差；全局的匹配方法可以获得非常好的匹配效果，但复杂度太高，不能做到实时处理；而半全局的匹配方法其匹配效果介于局部算法和全局算法之间，但其运算量仍然很大，难以应用到实时性要求较高的地方。因此，综合考虑匹配效果和实时性，许多应用选择了折中的算法。近几年，一种基于非局部的立体匹配算法被提出来。该方法在代价聚集的过程采用最小生成树的方式进行滤波，每一个像素都利用了图像中其他所有像素进行代价的聚集，但其运算量接近局部的方法，因此受到广泛的关注。该方法在图像纹理比较丰富的区域能够获得比较好的效果，但是，该方法计算复杂、耗时长、耗内存，且在纹理较弱的区域以及室外实际场景中却难以取得理想的效果。因此，如何提升该立体匹配算法的匹配效果，是本领域技术人员需要解决的技术问题。
技术实现思路
本专利技术的目的是提供一种立体匹配方法及系统，能够有效地解决弱纹理区域误匹配的问题，并在室外场景中也能取得较好的匹配效果，同时，计算量较小，实时性好。为解决上述技术问题，本专利技术提供一种立体匹配方法，所述方法包括：步骤S10、获取参考图像以及目标图像，并确定聚合区域的视差区域；步骤S11、将所述参考图像以及所述目标图像均等分为N*N个区域，得到参考分块图像以及目标分块图像；步骤S12、根据所述参考分块图像以及所述目标分块图像，利用分块变换算法，将所述参考图像变换为聚合参考图像，所述目标图像变换为聚合目标图像；步骤S13、分别计算所述聚合参考图像以及所述聚合目标图像的CENSUS特征，并进行立体匹配，计算得到所述聚合参考图像的CENSUS特征与所述聚合目标图像的CENSUS特征的匹配代价值；步骤S14、分别计算各所述参考分块图像与对应的相同分块位置的所述目标分块图像的区域代价聚合；步骤S15、比较所述匹配代价值与各所述区域代价聚合，若存在所述匹配代价值大于区域代价聚合，则重新分割区域代价聚合小于所述匹配代价值的区域代价聚合对应的参考分块图像以及目标分块图像并计算分割后的区域代价聚合，直到所述匹配代价值均小于各区域代价聚合；步骤S16、计算所述匹配代价值均小于各区域代价聚合时各参考分块图像与对应目标分块图像中每个像素的代价聚合，并利用WTA方法得到第一视差图像。可选的，步骤S12包括：制作第一空图像和第二空图像，其中，所述第一空图像中每个像素点与所述参考图像的像素点一一对应，所述第二空图像中每个像素点与所述目标图像的像素点一一对应；计算每一个所述参考分块图像的像素值之和，并赋值给所述第一空图像中对应的像素点中，得到聚合参考图像；计算每一个所述目标分块图像的像素值之和，并赋值给所述第二空图像中对应的像素点中，得到聚合目标图像。可选的，重新分割区域代价聚合小于所述匹配代价值的区域代价聚合对应的参考分块图像以及目标分块图像，包括：分别判断代价聚合小于所述匹配代价值的区域代价聚合对应的各参考分块图像以及各目标分块图像的像素平均值和中间像素值的大小；当参考分块图像或目标分块图像的像素平均值小于中间像素值，则按照估计视差进行区域扩大，当参考分块图像或目标分块图像的像素平均值大于中间像素值，则按照估计视差进行区域缩小。可选的，计算所述匹配代价值均小于各区域代价聚合时各参考分块图像与对应目标分块图像中每个像素的代价聚合，包括：确定像素的视差区域[dmin，dmax]；以估计视差d为基准，对所述参考图像的每一个像素点p(x，y)，在所述目标图像上确定对应的像素点p(x-d，y)；其中，d∈[dmin，dmax]；计算像素点p(x，y)与像素点p(x-d，y)之间对应的CENSUS特征的汉明距离，得到像素的代价聚合Cd(p)；计算各参考分块图像中相邻节点的边权重，并根据所述边权重得到四连通的无向图；利用Boruvka算法对所述无向图进行处理，得到最小生成树；将所述最小生成树转换为具有根节点和叶节点的树形结构，并对所述树形结构从叶节点到根节点进行滤波得到向上代价聚集；根据所述向上代价聚集，对所述树形结构从根节点到叶节点进行滤波得到各参考分块图像与对应目标分块图像中每个像素的代价聚合。可选的，本方案还包括：将所述参考图像作为新的目标图像，将所述目标图像作为新的参考图像，并根据所述新的目标图像以及所述新的参考图像，执行所述步骤S11至所述步骤S16得到第二视差图像；利用所述第一视差图像和所述第二视差图像进行视差求精，得到最终视差图像。可选的，利用所述第一视差图像和所述第二视差图像进行视差求精，得到最终视差图像，包括：对所述第一视差图像和所述第二视差图像进行左右一致性检测确定视差稳定点；利用公式计算得到新的代价集合其中，D(p)为第一视差图像，d为视差；根据所述新的代价集合执行步骤S12得到最终视差图像。本专利技术还提供一种立体匹配系统，包括：获取模块，用于获取参考图像以及目标图像，并确定聚合区域的视差区域；划分模块，用于将所述参考图像以及所述目标图像均等分为N*N个区域，得到参考分块图像以及目标分块图像；聚合模块，用于根据所述参考分块图像以及所述目标分块图像，利用分块变换算法，将所述参考图像变换为聚合参考图像，所述目标图像变换为聚合目标图像；匹配代价计算模块，用于分别计算所述聚合参考图像以及所述聚合目标图像的CENSUS特征，并进行立体匹配，计算得到所述聚合参考图像的CENSUS特征与所述聚合目标图像的CENSUS特征的匹配代价值；区域代价聚合模块，用于分别计算各所述参考分块图像与对应的相同分块位置的所述目标分块图像的区域代价聚合；匹配模块，用于比较所述匹配代价值与各所述区域代价聚合，若存在所述匹配代价值大于区域代价聚合，则重新分割区域代价聚合小于所述匹配代价值的区域代价聚合对应的参考分块图像以及目标分块图像并计算分割后的区域代价聚合，直到所述匹配代价值均小于各区域代价聚合；视差图像获取模块，用于计算所述匹配代价值均小于各区域代价聚合时各参考分块图像与对应目标分块图像中每个像素的代价聚合，并利用WTA方法得到第一视差图像。可选的，所述聚合模块，包括：空图像制作单元，用于制作第一空图像和第二空图像，其中，所述第一空图像中每个像素点与所述参考图像的像素点一一对应，所述第二空图像中每个像素点与所述目标图像的像素点一一对应；聚合参考图像单元，用于计算每一个所述参考分块图像的像素值之和，并赋值给所述第一空图像中对应的像素点中，得到聚合参考图像；聚合目标图像单元，用于计算每一个所述目标分块图像的像素值之和，并赋值给所述第二空图像中对应的像素点中，得到聚合目标图像。可选的，所述匹配模块，包括：判断单元，用于分别判断代价聚合小于所述匹配代价值的区域代价聚合对应的各参考分块图像以及各目标分块图像的像素平均值和中间像素值的大小；重新划分单元，用于当参考分块图像或目标分块图像的像素平均值小于中间像素值，则按照估计视差进行区域扩大，当参考分块图像或目标分块图像的像素平均值大于中间像素值，则按照估本文档来自技高网...

【技术保护点】
一种立体匹配方法，其特征在于，所述方法包括：步骤S10、获取参考图像以及目标图像，并确定聚合区域的视差区域；步骤S11、将所述参考图像以及所述目标图像均等分为N*N个区域，得到参考分块图像以及目标分块图像；步骤S12、根据所述参考分块图像以及所述目标分块图像，利用分块变换算法，将所述参考图像变换为聚合参考图像，所述目标图像变换为聚合目标图像；步骤S13、分别计算所述聚合参考图像以及所述聚合目标图像的CENSUS特征，并进行立体匹配，计算得到所述聚合参考图像的CENSUS特征与所述聚合目标图像的CENSUS特征的匹配代价值；步骤S14、分别计算各所述参考分块图像与对应的相同分块位置的所述目标分块图像的区域代价聚合；步骤S15、比较所述匹配代价值与各所述区域代价聚合，若存在所述匹配代价值大于区域代价聚合，则重新分割区域代价聚合小于所述匹配代价值的区域代价聚合对应的参考分块图像以及目标分块图像并计算分割后的区域代价聚合，直到所述匹配代价值均小于各区域代价聚合；步骤S16、计算所述匹配代价值均小于各区域代价聚合时各参考分块图像与对应目标分块图像中每个像素的代价聚合，并利用WTA方法得到第一视差图像。...

【技术特征摘要】
1.一种立体匹配方法，其特征在于，所述方法包括：步骤S10、获取参考图像以及目标图像，并确定聚合区域的视差区域；步骤S11、将所述参考图像以及所述目标图像均等分为N*N个区域，得到参考分块图像以及目标分块图像；步骤S12、根据所述参考分块图像以及所述目标分块图像，利用分块变换算法，将所述参考图像变换为聚合参考图像，所述目标图像变换为聚合目标图像；步骤S13、分别计算所述聚合参考图像以及所述聚合目标图像的CENSUS特征，并进行立体匹配，计算得到所述聚合参考图像的CENSUS特征与所述聚合目标图像的CENSUS特征的匹配代价值；步骤S14、分别计算各所述参考分块图像与对应的相同分块位置的所述目标分块图像的区域代价聚合；步骤S15、比较所述匹配代价值与各所述区域代价聚合，若存在所述匹配代价值大于区域代价聚合，则重新分割区域代价聚合小于所述匹配代价值的区域代价聚合对应的参考分块图像以及目标分块图像并计算分割后的区域代价聚合，直到所述匹配代价值均小于各区域代价聚合；步骤S16、计算所述匹配代价值均小于各区域代价聚合时各参考分块图像与对应目标分块图像中每个像素的代价聚合，并利用WTA方法得到第一视差图像。2.根据权利要求1所述的立体匹配方法，其特征在于，步骤S12包括：制作第一空图像和第二空图像，其中，所述第一空图像中每个像素点与所述参考图像的像素点一一对应，所述第二空图像中每个像素点与所述目标图像的像素点一一对应；计算每一个所述参考分块图像的像素值之和，并赋值给所述第一空图像中对应的像素点中，得到聚合参考图像；计算每一个所述目标分块图像的像素值之和，并赋值给所述第二空图像中对应的像素点中，得到聚合目标图像。3.根据权利要求2所述的立体匹配方法，其特征在于，重新分割区域代价聚合小于所述匹配代价值的区域代价聚合对应的参考分块图像以及目标分块图像，包括：分别判断代价聚合小于所述匹配代价值的区域代价聚合对应的各参考分块图像以及各目标分块图像的像素平均值和中间像素值的大小；当参考分块图像或目标分块图像的像素平均值小于中间像素值，则按照估计视差进行区域扩大，当参考分块图像或目标分块图像的像素平均值大于中间像素值，则按照估计视差进行区域缩小。4.根据权利要求3所述的立体匹配方法，其特征在于，计算所述匹配代价值均小于各区域代价聚合时各参考分块图像与对应目标分块图像中每个像素的代价聚合，包括：确定像素的视差区域[dmin，dmax]；以估计视差d为基准，对所述参考图像的每一个像素点p(x，y)，在所述目标图像上确定对应的像素点p(x-d，y)；其中，d∈[dmin，dmax]；计算像素点p(x，y)与像素点p(x-d，y)之间对应的CENSUS特征的汉明距离，得到像素的代价聚合Cd(p)；计算各参考分块图像中相邻节点的边权重，并根据所述边权重得到四连通的无向图；利用Boruvka算法对所述无向图进行处理，得到最小生成树；将所述最小生成树转换为具有根节点和叶节点的树形结构，并对所述树形结构从叶节点到根节点进行滤波得到向上代价聚集；根据所述向上代价聚集，对所述树形结构从根节点到叶节点进行滤波得到各参考分块图像与对应目标分块图像中每个像素的代价聚合。5.根据权利要求1-4所述的立体匹配方法，其特征在于，还包括：将所述...

【专利技术属性】
技术研发人员：罗林，周剑，唐荣富，
申请(专利权)人：成都通甲优博科技有限责任公司，
类型：发明
国别省市：四川,51