校正视差图的方法和系统技术方案

公开提供了一种视差图的校正方法和系统。该方法包括：检测步骤，检测第一视差图的一个或多个第一边缘和参考图像的一个或多个第二边缘；以及校正步骤，基于所检测的一个或多个第一边缘和一个或多个第二边缘的匹配，校正所述第一视差图以得到校正后的第二视差图。

【技术实现步骤摘要】
校正视差图的方法和系统
本申请一般涉及校正视差图的方法和系统，且更具体地，涉及基于视差图像和参考图像中的边缘的分布来校正视差图的方法和系统。
技术介绍
立体视觉技术已广泛应用于三维电影、虚拟现实、自动车辆控制、智能机器人控制等诸多领域。随着三维重建技术、虚拟现实等领域的兴起，人们对立体视觉中的视差图的精度和密度的要求越来越高，期望得到图像中的每一个像素点的可靠的深度信息。立体匹配的目的就是在相同三维场景的两幅成像平面中找到匹配的像素点对，计算出每个像素点坐标对应的视差值d，进而可以准确地描述场景的三维空间信息。但是现有技术中已有的技术得到的视差图不够精确，需要进行改善、提高视差精度。由YANGQIONG等人于2012年10月30日公开的专利申请No.US8,300,085B2提出了一个基于图像分割来处理立体匹配中遮挡问题的算法。该方法首先对双目摄像机拍摄的左图和右图进行图像分割，基于图像分割的结果，找到两分割块间的边界，从而发现遮挡区域，接着利用一个能量方程优化得到图像像素的视差值。然而，这种方法需要做多次图像分割，而且利用图像分割找到的边界有可能是错误的，可能并不一定是遮挡引起的。另外，这种方法单独考虑边界，忽视了边界间的关系，因此在很多情况下并不能取得令人满意的效果。RamyaNarasimha、EliseArnaud、FlorenceForbes、RaduHoraud:Cooperativedisparityandobjectboundaryestimation.ICIP2008:1784-1787的参考文献提出一种综合视差计算和目标边界估计为一体的算法，该方法利用统一的马尔科夫架构把两个任务统一起来，提出一个联合概率模型，利用马尔科夫随机场来估算视差。然而该方法是针对图像的每一个像素视差的估算，一方面计算量较大，另一方面，从单一像素逐点估算势必会带来噪声，也无法取得令人满意的视差图。
技术实现思路
有鉴于上述问题，本公开提供了一种视差图的校正方法和系统。根据本公开的一个方面，提供一种校正视差图的方法，包括：检测步骤，检测第一视差图的一个或多个第一边缘和参考图像的一个或多个第二边缘；以及校正步骤，基于所检测的一个或多个第一边缘和一个或多个第二边缘的匹配，校正所述第一视差图以得到校正后的第二视差图。根据本公开的另一方面，提供一种校正视差图的系统，包括检测装置，被配置为检测第一视差图的一个或多个第一边缘和参考图像的一个或多个第二边缘；以及校正装置，被配置为基于所检测的一个或多个第一边缘和一个或多个第二边缘的匹配，校正所述第一视差图以得到校正后的第二视差图。附图说明在附图的引用的图中例示了本专利技术的实施例，附图中，对图的描述通篇中相同的数字指代相同的要素。图1示出应用根据本专利技术的一个实施例的校正视差图的方法时的一个应用场景示例。图2示出根据本专利技术的一个实施例的校正视差图的方法的示例流程图。图3示出应用图1所示的校正视差图的方法时的效果示例。图4示出了根据本专利技术的另一个实施例的校正视差图的方法的详细的示例流程图。图5(a)和(b)示出在根据本专利技术的实施例的校正视差图的方法中根据初始视差图建立初步匹配度矩阵的示意过程。图6(a)和(b)示出在根据本专利技术的实施例的校正视差图的方法中根据初始视差图建立相似度矩阵的示意过程。图7示出根据本专利技术的另一实施例的校正视差图的系统的方框图。具体实施方式下面结合具体的实施例及附图进行详细的描述。图1示出应用根据本专利技术的一个实施例的校正视差图的方法时的一个应用场景示例。在图1中，装置100是双目立体摄像机，图像102(1)和102(2)分别是双目摄像机输出的两个匹配图像（通常也称为左/右图像，在该例子中是灰度图）；图像103是基于匹配图像（左/右图像）得到的一个视差图；然后，该视差图103、以及两个匹配图像之一（例如左图像102(1)）被输入到用于校正视差图的系统101（或执行方法的软件、硬件、固件、芯片等等），这可以通过芯片104来实现，然后，得到校正后的视差图105。图2示出根据本专利技术的一个实施例的校正视差图的方法200的示例流程图。该方法200可以是在图1示例的场景中由芯片104运行的方法101。该校正视差图的方法200包括：检测步骤S201，检测第一视差图的一个或多个第一边缘和参考图像的一个或多个第二边缘；以及校正步骤S202，基于所检测的一个或多个第一边缘和一个或多个第二边缘的匹配，校正所述第一视差图以得到校正后的第二视差图。在该实施例中，该第一视差图的例子可以是一个初始视差图。即。视差图的校正可以是基于一个初始视差图来进行的。当然，该初始视差图的效果同样也能影响视差图的改善精度。该初始的视差图可以利用各种传统的计算视差值的方法得出，例如块匹配、动态规划法、图割法、半全局匹配法（Semi-GlobalMatching，SGM）等等。当然，本专利技术不限于此，该第一视差图也可以是初始视差图或校正后的视差图（以便进行进一步地校正）或其他任何视差图。本公开对该第一视差图并不限制。该参考图像可以是双目摄像机拍摄的左图像或右图像，也可以是其他类型的参考图像，只要其可以用来描述所拍摄场景的边缘特征即可。在该方法200中，检测第一视差图的一个或多个第一边缘和参考图像的一个或多个第二边缘的方式也可以使用传统的边缘检测的方式，例如，基于搜索和基于零交叉的传统边缘检测方法。在此不赘述该边缘检测的细节。在本实施例中的校正视差图的提出可以基于两个假设：1）初始视差的跳变区域一般是真正的视差不连续区域；2）真正的视差不连续区域一般处于目标物体的边界或边缘地方。基于上述两项假设，可以通过使得初始视差图中的检测的边界或边缘与（通常可以从拍摄的灰度图中得到的）目标物体边界或边缘一致，来校正初始的视差值。为了这个目的，本实施例可以利用参考图像的边缘去校正初始视差值，简单地说，可以，针对初始视差图中每一条边缘，在参考图像中选择一条匹配的边缘来修正为一致，来校正该初始视差图。在一个实施例中，所述一个或多个第一边缘和一个或多个第二边缘中的至少一个的长度可以大于预定长度阈值。也就是说，可以针对参考图像和诸如初始视差图的第一视差图分别提取各个边缘，然后过滤短边缘，只保留长边缘（例如，长度大于预定长度阈值的边缘）。预定长度阈值的选取一般跟实际的需求相关，例如，如果要改善的视差图的场景包括较大型的人工建筑物，如高楼、电线杆等，阈值一般选取较大，一般在例如15个像素以上；如果要改善的视差图的场景包括小型物体，如汽车等，阈值一般选取8-9个像素以上。当然，这些阈值的选取仅是例子而非限制。保留长边缘的好处可以包括：减少匹配短边缘的计算量，同时，利用长边缘来进行匹配，由于长边缘的匹配较不容易出错，因此可以使得匹配更加准确。有时候为了实际需求，需要着重处理又长又直的边缘（因为，利用长直边缘更容易进行更准确的匹配），所以在实际中，可能除了需要计算边缘的长度，还需要考虑边缘的弯曲程度，这里边缘的弯曲程度用曲线的曲率来衡量。关于曲率的意义，可参见网页http://baike.baidu.com/view/562504.htm。即边缘的长度大于预定长度阈值且边缘的曲率小于预定曲率阈值的边缘可以认为是长直边缘。进而，通过匹配这本文档来自技高网...

【技术保护点】
一种校正视差图的方法，包括：检测步骤，检测第一视差图的一个或多个第一边缘和参考图像的一个或多个第二边缘；以及校正步骤，基于所检测的一个或多个第一边缘和一个或多个第二边缘的匹配，校正所述第一视差图以得到校正后的第二视差图。

【技术特征摘要】
1.一种校正视差图的方法，包括：检测步骤，检测第一视差图的一个或多个第一边缘和参考图像的一个或多个第二边缘；以及校正步骤，基于所检测的一个或多个第一边缘的分布特性和一个或多个第二边缘的分布特性的匹配，校正所述第一视差图以得到校正后的第二视差图，其中，所述校正步骤包括：基于所检测的一个或多个第一边缘和一个或多个第二边缘的大小和位置，确定各个第一边缘与各个第二边缘的匹配程度；基于具体的第一边缘与所有第二边缘的匹配程度中最大的一个，确定与各个第一边缘匹配的相应的第二边缘；将所述各个第一边缘修正为与其相应的第二边缘一致；以及基于修正后的各个第一边缘，来校正所述第一视差图。2.如权利要求1的方法，其中，所述一个或多个第一边缘和一个或多个第二边缘中的至少一个的长度大于预定长度阈值。3.如权利要求1的方法，所述基于所检测的一个或多个第一边缘和一个或多个第二边缘的大小和位置，确定各个第一边缘与各个第二边缘的匹配程度的步骤包括：针对每个具体的第一边缘vi：在参考图像中选择与所述具体的第一边缘vi在第一方向上有重合的一个或多个具体的第二边缘；计算所述具体的第一边缘vi和所述选择的一个或多个具体的第二边缘的在与第一方向不同的第二方向上的距离，作为所述具体的第一边缘分别与所述一个或多个具体的第二边缘的各个初步匹配度；以及建立初步匹配度矩阵Y(m×n){yij}，这里m和n分别是所述第一边缘和第二边缘的数目，其中所述初步匹配度矩阵Y(m×n){yij}中的元素yij是第一视差图中第i个第一边缘和参考图像中第j个第二边缘的初步匹配度，其中，i是正整数，且i<＝m，且j是正整数，且j<＝n。4.如权利要求3的方法，其中，所述基于所检测的一个或多个第一边缘和一个或多个第二边缘的大小和位置，确定各个第一边缘与各个第二边缘的匹配程度的步骤还包括：基于所述第一视差图中的第一边缘的分布特性和所述参考图像中的第二边缘的分布特性中的至少一个，修改所述初步匹配度矩阵，以得到修改后的匹配程度。5.如权利要求4的方法，其中，所述第一视差图中的第一边缘的分布特性通过以下步骤得到：针对每两个第一边缘vi′和vj′，计算它们的中心点cpi′和cpj′在第一方向上的最小距离；如果该第一方向上的最小距离小于一距离阈值，则计算中心点cpi′和cpj′在第二方向的距离，作为所述两个第一边缘vi′和vj′的相似度；建立相似度矩阵W(m×m){wi′j′}用于修改所述初步匹配度矩阵，这里m是第一视差图中的边缘的数目，其中的元素wi′j′是第一视差图中第i′个边缘和第j′个边缘的相似程度，其中i′、j′是正整数，且i′<＝m和j′<＝m。6.如权利要求4的方法，其中，所述参...

【专利技术属性】
技术研发人员：刘媛，刘振华，刘殿超，鲁耀杰，师忠超，
申请(专利权)人：株式会社理光，
类型：发明
国别省市：日本;JP