分辨率从低到高的逐渐精细化的立体匹配方法及系统技术方案

一种分辨率从低到高的逐渐精细化的立体匹配方法及系统，从一个很低的分辨率的图像开始——这样的图像只保存了最粗的结构细节，在匹配上不容易发生误匹配——对这个很低的分辨率的图像进行分割以及视差的曲面拟合，然后进行内插得到高一级分辨率的分割，在原分割基础上再进行分割以及视差的拟合，然后再进行内插得到再高一级分辨率进行分割，并在上一分辨率分割的基础上再进行分割以及视差的拟合，如此一直内插和分割，直到达到预定的分辨率为止，这种做法充分利用了图像中整体的结构信息，实现了鲁棒的分割和视差或深度的提取。

Gradually refined stereo matching method and system with low resolution to high resolution

A progressively refined stereo matching method and system with low to high resolution, starting with a very low resolution image that preserves only the coarsest structural details and is not prone to mismatching in matching, is used to segment this very low resolution image and to fit parallax surfaces. Then the high resolution segmentation is obtained by interpolation, and then the segmentation and parallax fitting are carried out on the basis of the original segmentation, and then the interpolation is carried out to get the next high resolution for segmentation, and then the segmentation and parallax fitting are carried out on the basis of the previous resolution segmentation, so the interpolation and segmentation are carried out until the arrival of the parallax fitting. So far as the predetermined resolution is concerned, this method makes full use of the structural information of the whole image and achieves robust segmentation and parallax or depth extraction.

【技术实现步骤摘要】
分辨率从低到高的逐渐精细化的立体匹配方法及系统
本专利技术涉及立体区域领域，具体涉及一种分辨率从低到高的逐渐精细化的立体匹配方法及系统。
技术介绍
在进行双目或多目视觉的立体匹配时，由于匹配像素的不唯一性，即完全有可能有处于非匹配位置，但像素值正好与正在被匹配的像素值相等，导致发生误匹配。例如，在颜色比较单一的区域，区域上的颜色值都差不多，会导致发生误匹配；再例如，纹理图像中，颜色有周期性重复的现象，也容易导致像素的发生误匹配，等等。
技术实现思路
考虑到上述问题，本申请提供一种分辨率从低到高的逐渐精细化的立体匹配方法及系统。根据第一方面，一种实施例中提供一种分辨率从低到高的逐渐精细化的立体匹配方法，包括：获取第一低分辨率的左图像和右图像，对其中任意一幅图像进行分割，得到第一低分辨率的图像的分割区域；从第二低分辨率开始直到预设的最高分辨率结束：对前一个低分辨率的图像进行内插，得到后一个高分辨率的图像；在前一个低分辨率的图像的分割区域的基础上，对后一个分辨率的图像继续进行分割，得到该后一个高分辨的图像的分割区域；得到最高分辨率的图像及其分割区域后，对最高分辨率的图像的每个分割区域进行视差的曲面拟合，以计算最高分辨率的图像中每个像素点的视差。在一实施例中，对第一低分辨率的左图像和右图像中任意一幅图像进行分割，得到第一低分辨率的图像的分割区域，包括：根据第一低分辨率的左图像和右图像中任意一幅图像，对于该第一低分辨率的图像中每一个像素点，获取该像素点在图像的一个区域，根据该区域内所有像素点进行视差的平面拟合，并基于该拟合出的平面计算该像素点的视差和法向量；根据综合距离，对所述第一低分辨率的图像进行初步分割得到初步的分割区域；其中综合距离至少基于视差相似性和/或法向量相似性来计算得到；根据类间的相似度以及类内之间的相似度，对所述第一低分辨率的图像的初步的分割区域进行分裂与合并，得到所述第一分辨率的图像的分割区域。在一实施例中，所述对于该第一低分辨率的图像中每一个像素点，获取该像素点在图像的一个区域，包括获取该像素点的一个具有相似梯度的区域；所述获取该像素点的一个具有相似梯度的区域，包括：计算所述第一分辨率的图像中各像素点的梯度；基于梯度相似性，寻找该像素点的一个具有相似梯度的区域；当基于梯度相似性寻找不到该像素点的一个具有相似梯度的区域时，则使用该像素点的邻域的像素点来对该像素点进行滤波，得到该像素点滤波后的像素值，并重新计算该像素点的梯度，基于梯度相似性，寻找该像素点的一个具有相似梯度的区域。在一实施例中，所述在前一个低分辨率的图像的分割区域的基础上，对后一个分辨率的图像继续进行分割，得到该后一个高分辨的图像的分割区域，包括分裂步骤；所述分裂步骤包括：将前一个低分辨率的图像的分割区域，对应在后一个分辨率的图像上，得到后一个分辨率的图像的继承的分割区域；对后一个分辨率的图像的每个继承的分割区域进行视差的平面拟合，以计算后一个分辨率的图像的每个像素点的视差和法向量；根据综合距离，对后一个分辨率的图像的每个继承的分割区域继续进行分割，其中综合距离至少基于视差相似性和/或法向量相似性来计算得到。在一实施例中，所述分裂步骤还包括：对后一个分辨率的图像的继承的分割区域继续分割得到的每个分割区域，对该分割区域内所有像素点进行视差的曲面拟合，根据拟合出的曲面，验证该分割区域内的像素点是否都属于这个拟合出的曲面，如果不属于且像素点的个数大于一预设阈值，则将这些像素点划分为一个新的分割区域。在一实施例中，所述在前一个低分辨率的图像的分割区域的基础上，对后一个分辨率的图像继续进行分割，得到该后一个高分辨的图像的分割区域还包括合并步骤，所述合并步骤包括：获取后一个分辨率的图像经分裂步骤后的分割区域中，那些位于继承的分割区域的边沿上的分割区域，根据类间的相似度以及类内之间的相似度，逐个判断这些位于边沿上的分割区域是否可以合并，如果可以合并，则进行合并，形成新的分割区域。在一实施例中，所述合并步骤还包括：对每个合并后形成的新的分割区域，对该分割区域内所有像素点进行视差的曲面拟合，根据拟合出的曲面，验证该分割区域内的像素点是否都属于这个拟合出的曲面，如果不属于且像素点的个数大于一预设阈值，则将这些像素点又划分为一个新的分割区域。在一实施例中，所述在前一个低分辨率的图像的分割区域的基础上，对后一个分辨率的图像继续进行分割，得到该后一个高分辨的图像的分割区域还包括调整步骤，所述调整步骤包括：对后一个分辨率的图像经合并步骤后的分割区域，根据综合距离判断每一个像素点属于哪一个经合并步骤后的分割区域，并进行调整。根据第二方面，一种实施例中提供一种分辨率从低到高的逐渐精细化的立体匹配系统，包括：存储器，用于存储程序；处理器，用于通过执行所述存储器存储的程序以实现上述任一实施例所述的方法。根据第三方面，一种实施例中提供一种计算机可读存储介质，包括程序，所述程序能够被处理器执行以实现上述任一实施例所述的方法。依据上述实施例的分辨率从低到高的逐渐精细化的立体匹配方法、系统及计算机可读存储介质，从低分辨率到高分辨率的逐步精细化的准全局的立体匹配思路，先从一个很低的分辨率的图像开始——这样的图像只保存了最粗的结构细节，在匹配上不容易发生误匹配——对这个很低的分辨率的图像进行分割以及视差的曲面拟合，然后进行内插得到高一级分辨率的分割，在原分割基础上再进行分割以及视差的拟合，然后再进行内插得到再高一级分辨率进行分割，并在上一分辨率分割的基础上再进行分割以及视差的拟合，如此一直内插和分割，直到达到预定的分辨率为止，这种做法充分利用了图像中整体的结构信息，实现了鲁棒的分割和视差或深度的提取。附图说明图1为一种实施例的分辨率从低到高的逐渐精细化的立体匹配方法的流程图；图2为一种实施例的对第一低分辨率的左图像和右图像中任意一幅图像进行分割，得到第一低分辨率的图像的分割区域的流程图；图3为一种实施例的在前一个低分辨率的图像的分割区域的基础上，对后一个分辨率的图像继续进行分割，得到该后一个高分辨的图像的分割区域的流程图；图4为一种实施例中前一个低分辨率的图像的分割区域与后一个高分辨率的图像的继承的分割区域的对应关系示意图；图5(a)为一种实施例中继承的分割区域P10经第一分裂步骤后的示意图；图5(b)为继承的分割区域P10又经第二分裂步骤后的示意图；图6为一种实施例中后一个分辨率的图像的继承的分割区域P10和P20的示意图；图7(a)为一种实施例中后一个分辨率的图像的继承的分割区域P10和P20经第一合并步骤后的示意图；图7(b)为后一个分辨率的图像的继承的分割区域P10和P20又经第二合并步骤后的示意图；图8为一种实施例的分辨率从低到高的逐渐精细化的立体匹配系统的结构示意图。具体实施方式下面通过具体实施方式结合附图对本专利技术作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过本文档来自技高网...

【技术保护点】
1.一种分辨率从低到高的逐渐精细化的立体匹配方法，其特征在于，包括：获取第一低分辨率的左图像和右图像，对其中任意一幅图像进行分割，得到第一低分辨率的图像的分割区域；从第二低分辨率开始直到预设的最高分辨率结束：对前一个低分辨率的图像进行内插，得到后一个高分辨率的图像；在前一个低分辨率的图像的分割区域的基础上，对后一个分辨率的图像继续进行分割，得到该后一个高分辨的图像的分割区域；得到最高分辨率的图像及其分割区域后，对最高分辨率的图像的每个分割区域进行视差的曲面拟合，以计算最高分辨率的图像中每个像素点的视差。

【技术特征摘要】
1.一种分辨率从低到高的逐渐精细化的立体匹配方法，其特征在于，包括：获取第一低分辨率的左图像和右图像，对其中任意一幅图像进行分割，得到第一低分辨率的图像的分割区域；从第二低分辨率开始直到预设的最高分辨率结束：对前一个低分辨率的图像进行内插，得到后一个高分辨率的图像；在前一个低分辨率的图像的分割区域的基础上，对后一个分辨率的图像继续进行分割，得到该后一个高分辨的图像的分割区域；得到最高分辨率的图像及其分割区域后，对最高分辨率的图像的每个分割区域进行视差的曲面拟合，以计算最高分辨率的图像中每个像素点的视差。2.如权利要求1所述的立体匹配方法，其特征在于，对第一低分辨率的左图像和右图像中任意一幅图像进行分割，得到第一低分辨率的图像的分割区域，包括：根据第一低分辨率的左图像和右图像中任意一幅图像，对于该第一低分辨率的图像中每一个像素点，获取该像素点在图像的一个区域，根据该区域内所有像素点进行视差的平面拟合，并基于该拟合出的平面计算该像素点的视差和法向量；根据综合距离，对所述第一低分辨率的图像进行初步分割得到初步的分割区域；其中综合距离至少基于视差相似性和/或法向量相似性来计算得到；根据类间的相似度以及类内之间的相似度，对所述第一低分辨率的图像的初步的分割区域进行分裂与合并，得到所述第一分辨率的图像的分割区域。3.如权利要求2所述的立体匹配方法，其特征在于，所述对于该第一低分辨率的图像中每一个像素点，获取该像素点在图像的一个区域，包括获取该像素点的一个具有相似梯度的区域；所述获取该像素点的一个具有相似梯度的区域，包括：计算所述第一分辨率的图像中各像素点的梯度；基于梯度相似性，寻找该像素点的一个具有相似梯度的区域；当基于梯度相似性寻找不到该像素点的一个具有相似梯度的区域时，则使用该像素点的邻域的像素点来对该像素点进行滤波，得到该像素点滤波后的像素值，并重新计算该像素点的梯度，基于梯度相似性，寻找该像素点的一个具有相似梯度的区域。4.如权利要求1所述的立体匹配方法，其特征在于，所述在前一个低分辨率的图像的分割区域的基础上，对后一个分辨率的图像继续进行分割，得到该后一个高分辨的图像的分割区域，包括分裂步骤；所述分裂步骤包括:将前一个低分辨率的图像的分割区域，对应在后一个分辨率的图像上，得到后一个...

【专利技术属性】
技术研发人员：赵勇，陈天健，卢海花，张丽，卢昌义，桑海伟，艾新东，杨纬达，
申请(专利权)人：北京大学深圳研究生院，
类型：发明
国别省市：广东,44