多约束代价计算与聚合的立体匹配方法组成比例

本发明专利技术公开了多约束代价计算与聚合的立体匹配方法，该方法包括包括两个步骤，步骤一是初始代价的计算，通过分析双目相机拍摄的左右两幅视角下的图像，计算出初始的视差；步骤二是代价聚合阶段，这一阶段可以得到比较致密的视差图，将步骤一中的初始代价进行聚合后提升视差值的精确度。本发明专利技术是将图像中的某一块区域与另一幅图像进行区域匹配，所以相比于特征点法更能绘制出致密的视差图。并且在代价聚合过程中采用了十字型的聚合模板，使聚合过程更具有鲁棒性，比当下大部分区域匹配算法具有更高的准确度，对后续的工作能提供更大的帮助。

Stereo matching method of multi constraint cost calculation and aggregation

【技术实现步骤摘要】
多约束代价计算与聚合的立体匹配方法
本专利技术属于立体视觉处理领域，涉及一种多约束代价计算与聚合的立体匹配方法。
技术介绍
近年来，计算机视觉理论与技术快速发展，基于视觉的路径导航已经成为一个重要的研究方向。基于视觉技术的导航往往需要以构建好的环境地图为前提，并结合实时的位置引导，所以导航技术也被称为实时定位与地图创建技术(SLAM)，是近年来智能车导航领域的热点。其原理是将传感器搭载在移动智能车上，通过对采集的图像不断进行前端处理，得到物体在世界坐标中的真实位置将整个场景进行描绘，并在行进的过程中实时的进行自主定位。建图的过程依赖于物体三维坐标的准确性，而相机拍摄到的为二维图像，需要深度信息才能获取其三维信息，即三维信息的准确性依赖于深度信息的准确性，深度指的是物体距离相机平面的距离大小。目前深度信息的获取可以通过双目相机的立体匹配方法，但是大部分匹配方法获取的深度信息不准确，存在诸多误差。
技术实现思路
立体匹配的主要目的是获取视差图，视差与深度呈反比关系，反应两个视角下同一像素点的水平位移差值。本专利技术采用的技术方案为多约束代价计算与聚合的立体匹配方法，该方法包括包括两个步骤，步骤一是初始代价的计算，通过分析双目相机拍摄的左右两幅视角下的图像，计算出初始的视差；步骤二是代价聚合阶段，这一阶段可以得到比较致密的视差图，将步骤一中的初始代价进行聚合后提升视差值的精确度。具体的操作流程图5如下所示：计算初始代价时，采用灰度近似度与平滑近似度进行双重约束，首先对灰度近似度进行考量，精确到图像中的每一个像素，判断该像素周围像素与其灰度差值，根据其大小判断该区域的灰度变化情况，并对其以二进制串编码的形式进行描述，具体的描述方式如下：其中，p和p'分别代表目标像素与邻域像素，D为该邻域像素对应的编码值，通过这种方法可以大致的描述出该区域的纹理特征。再通过平滑度约束构建新的描述子，比较目标像素周围区域的平滑性能，判断邻域像素与目标像素的灰度差的绝对值，如果大于或等于设定的阈值则标记为1，小于设定的阈值则标记为0。阈值的分布采用高斯模板分布的统计方式获得，在接近目标像素的邻域赋予高阈值，远离的区域赋予低阈值，具体地描述如下：D'是根据平滑度判断获得的编码值，β是根据统计学的方法设定的固定阈值，对另一视角的图像进行类似的编码，并将两种描述子分别进行计算其汉明距离，对得到的值进行归一化并联立，最终得到该区域的整体描述子，其联立方式如下：f(p,d)＝(1-λ)kc(p,d)+λkg(p,d)(0＜λ＜1)(3)其中fc与fg分别对应通过两个描述子匹配出来的代价值，为归一化阈值255，d为视差值，将两者进行融合得到新代价值f(p,d)，λ为调节因子，根据区域的平滑性来判断两种代价在整体代价值中的权重大小。通过上述方法，构建初始视差图，视差图的每一个像素点的灰度由该像素点的视差值描述。由于初始视差图的精确度不够，往往需要对其进行进一步的代价聚合。代价聚合阶段包括聚合模板的构建以及聚合方式，构建模板的过程采用视差值与距离之间的相互关系进行约束，针对每个目标像素，先向其左边与右边进行延伸，即水平方向，每次延伸一个点，判断该点与目标像素的视差差是否小于设定的阈值，此阈值随着延伸的距离不断地变化，变化形式如下：其中μ1,μ2为设定的视差阈值，L1,L2为设定的距离阈值。μ3,μ4为动态视差阈值p1为每次延伸到的新像素。当该点视差值小于目标像素视差值则继续延伸，并且在延伸距离到达一定长度L2时更改视差阈值为μ4，继续延伸，当距离延伸至L1时停止，在延伸过程中将每次延伸的新点与前一时刻的像素点的视差差值也作为约束条件之一。整个构建过程通过下式描述：Gray(p1,p)＜μ3,Gray(p1,p1-(1,0))＜μ1L(p1,p)＜L1Gray(p1,p)＜τ4,ifL2＜L(p1,p)＜L1(μ2＜μ1,μ4＜μ3,μ2＜μ1)(5)其中，p为目标像素，p1为下一时刻延伸的像素点，p1-(1.0)为前一时刻延伸到的点。根据上述准则采用先水平后垂直的方式为每个像素点构建出十字聚合窗口，对覆盖的所有像素值进行加和平均来代替该目标像素点的视差值，将所有视差进行重新聚合后，得到精确度高的视差图像。当下有诸多立体匹配的方法大致分为特征点匹配法与区域匹配法，特征点匹配法主要寻找图像中单个点的特征，所以计算出来的视差图比较模糊，而本专利技术是将图像中的某一块区域与另一幅图像进行区域匹配，所以相比于特征点法更能绘制出致密的视差图。并且在代价聚合过程中采用了十字型的聚合模板，使聚合过程更具有鲁棒性，比当下大部分区域匹配算法具有更高的准确度，对后续的工作能提供更大的帮助。附图说明图1为所用实验图像，来自于Middlebury官网平台上的标准图像；图2为经过本专利技术初始代价计算方法后获取的视差图。图3为本专利技术所提十字聚合模板的构建图。图4为聚合方法后得到的视差图与真实视差图的主观对比，红色区域为误匹配点。图5为本方法的实施流程图。具体实施方式下面根据具体实验方式与附图对本专利技术进行说明。首先，选择Middlebury平台上的四幅图像进行实验如图1所示，按照本专利技术提出的方法进行初始代价计算得到视差图，如图2所示，可以看出有诸多噪点和误匹配点的存在。再将聚合方法应用在此类视差图上对模糊点进行整体的加和平均，每个点所对应的聚合模板大致如图3所以，左图描述在构建过程中每个点的延伸方式，臂长由上述所提约束准则来判定，右图表示每个目标像素最后的大致模板样式。将聚合后的图像与真实视差图相比，得到其主观形式下的误匹配点图，图4第一行为实验图像，第二行为真实视差图像，均来自于Middlebury平台，第三行为经过本专利技术所提聚合方法处理后的视差图，可以看出图像整体更加致密，第四行为误匹配点图，红色区域代表与真实视差图对比后的误差分布情况，对比方法采用平台所提供的标准方法。实验结果表明，本方法可以准确地获取初始视差图与聚合后致密的视差图像，提高整体匹配精度。本文档来自技高网...

【技术保护点】
1.多约束代价计算与聚合的立体匹配方法，其特征在于：该方法包括包括两个步骤，步骤一是初始代价的计算，通过分析双目相机拍摄的左右两幅视角下的图像，计算出初始的视差；步骤二是代价聚合阶段，这一阶段得到比较致密的视差图，将步骤一中的初始代价进行聚合后提升视差值的精确度；/n计算初始代价时，采用灰度近似度与平滑近似度进行双重约束，首先对灰度近似度进行考量，精确到图像中的每一个像素，判断该像素周围像素与其灰度差值，根据其大小判断该区域的灰度变化情况，并对其以二进制串编码的形式进行描述；/n构建初始视差图，视差图的每一个像素点的灰度由该像素点的视差值描述；代价聚合阶段包括聚合模板的构建以及聚合方式，构建模板的过程采用视差值与距离之间的相互关系进行约束，针对每个目标像素，先向其左边与右边进行延伸，即水平方向，每次延伸一个点，判断该点与目标像素的视差差是否小于设定的阈值，此阈值随着延伸的距离不断地变化；采用先水平后垂直的方式为每个像素点构建出十字聚合窗口，对覆盖的所有像素值进行加和平均来代替该目标像素点的视差值，将所有视差进行重新聚合后，得到视差图像。/n

【技术特征摘要】
1.多约束代价计算与聚合的立体匹配方法，其特征在于：该方法包括包括两个步骤，步骤一是初始代价的计算，通过分析双目相机拍摄的左右两幅视角下的图像，计算出初始的视差；步骤二是代价聚合阶段，这一阶段得到比较致密的视差图，将步骤一中的初始代价进行聚合后提升视差值的精确度；
计算初始代价时，采用灰度近似度与平滑近似度进行双重约束，首先对灰度近似度进行考量，精确到图像中的每一个像素，判断该像素周围像素与其灰度差值，根据其大小判断该区域的灰度变化情况，并对其以二进制串编码的形式进行描述；
构建初始视差图，视差图的每一个像素点的灰度由该像素点的视差值描述；代价聚合阶段包括聚合模板的构建以及聚合方式，构建模板的过程采用视差值与距离之间的相互关系进行约束，针对每个目标像素，先向其左边与右边进行延伸，即水平方向，每次延伸一个点，判断该点与目标像素的视差差是否小于设定的阈值，此阈值随着延伸的距离不断地变化；采用先水平后垂直的方式为每个像素点构建出十字聚合窗口，对覆盖的所有像素值进行加和平均来代替该目标像素点的视差值，将所有视差进行重新聚合后，得到视差图像。


2.根据权利要求1所述的多约束代价计算与聚合的立体匹配方法，其特征在于：二进制串编码的形式进行具体的描述方式如下：



其中，p和p'分别代表目标像素与邻域像素，D为该邻域像素对应的编码值，通过这种方法可以大致的描述出该区域的纹理特征；再通过平滑度约束构建新的描述子，比较目标像素周围区域的平滑性能，判断邻域像素与目标像素的灰度差的绝对值，如果大于或等于设定的阈值则标记为1，小于设定的阈值则标记为0；阈值的分布采用高斯模板分布的统计方式获得，在接近目标像素的邻域...

【专利技术属性】
技术研发人员：贾克斌，杜奕伯，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京;11