本发明专利技术公开了一种基于全连接随机场联合能量最小化的双目立体匹配方法，包括如下步骤：计算目标图像中每个像素点相对于匹配图像的匹配误差向量，所述匹配误差向量的维数等于预设的视差级别总数；根据匹配误差向量基于全连接随机场联合能量构建图像视差值的随机场模型；以随机场模型的能量最小作为求解目标，使用平均场近似算法迭代求解所述的随机场模型得到目标图像中所有像素点的分类概率向量以构建视差图。本发明专利技术的随机场模型同时包括全局能量和局部能量，在平坦的区域通过全局能量项得到更加平滑的结果，在精细的区域通过局部能量项保留了更多细节；利用平均场近似求解的方法保证了一定的求解速度。
【技术实现步骤摘要】
本专利技术涉及立体视觉领域，具体涉及一种基于全连接随机场联合能量最小化的立体匹配方法，在利用全连接随机场建立的模型基础上，通过能量最小化计算双目图像对应的视差图。
技术介绍
一直以来，立体匹配问题都是计算机视觉中最为基本、最为重要也是最为困难的问题之一。给定同一场景在不同视角下的多张图像，立体匹配的任务是要找到这些图像之间点与点之间的匹配对应关系，进而能够利用这些对应关系通过三维几何关系计算图像中物体离相机的距离信息。立体匹配被广泛应用于三维环境感知与建模、机器人、无人驾驶等诸多领域，也能为物体检测与跟踪、图像分割等应用提供便利。立体匹配算法通常先得到视差图，然后在视差图基础上，利用提前获得的相机参数计算得到深度值(即每个点离相机中心的距离)。对于场景中同一个点，表现在同时拍摄的左右图像中，必然位于图像不同的位置。对于经过校正的左右图或者相机(相机的成像平面共面，而且相机朝向平行)，同一个点在左右图像中对应的像素点必然位于同一条水平线上，视差就是指这一对位于同一条水平线上的像素点之间的横向距离。早期的立体匹配限于计算机计算能力的制约，大多只计算图像特征点的视差，得到离散点的深度信息，比如提取左右两张图像中的角点或者sift特征点，然后只在这些特征点之间进行匹配，这样相对于全部像素点而言，需要匹配的点数量明显减少，之后，为了得到其他区域的视差信息，研究者们采用各种插值和拟合策略，从已有离散特征点的视差出发，估计整张图像的视差。随着计算机计算能力的发展，人们开始关注整张图像稠密的视差计算，这是因为在大多数应用场景中，离散特征点的视差值只占图像中很小的一部分，大部分区域的视差是未知的，通过插值拟合得到的结果准确性很差。估算图像上每一处的视差，也叫做稠密立体匹配，主要分为两个部分，一个是匹配误差，另一个是 立体模型。在左右图像中各选一个像素点，匹配误差是用来衡量这两个点同属于三维空间中同一个点的可能性。通常，匹配误差就是基于像素及其周围小区域之内颜色的差异。对于匹配误差而言，它的选定主要要考虑到不同视角可能会造成的像素外观差异，目前比较鲁棒的方法是利用统计变换和汉明距离，这种方法计算速度较快而且对于各种场景的适应性也较强，几乎为所有立体匹配算法所采用。由于匹配误差并不能完全确定点与点的对应关系(比如颜色相同或者近似的点总是会有很多对)，直接使用匹配误差最小来确定每个点的对应关系，往往会得到非常糟糕的结果，实际上，许多真正对应的点，其匹配误差并非最小。因此需要引入一些先验假设，立体模型主要就是引入了一些关于视差图的先验假设，利用平滑性等约束建立一个随机场，将所有像素点的误差计入到一个总的能量函数中去。平滑性的假设约束不仅弥补了匹配误差的缺陷，同时还降低了整个问题的维度。这个能量函数的最优化是一个NP问题，因此我们只能去近似求解它们。研究者们往往将优化局限在单条扫描线或者把多连通图变成一棵树的方法上，比如图切割和置信度传播的方法，这些方法的不足之处在于求解问题时不能考虑全局的信息，因此难以得到接近全局最优的结果。另有一些研究者利用采样的思想，利用蒙特卡洛马尔科夫链逼近最优解，但是这一类方法速度非常慢，难以实用。
技术实现思路
本专利技术提供了一种计算双目视差图的立体匹配方法——基于全连接随机场联合能量最小化的方法，能够考虑所有点之间的相关关系，并且得到全局的立体匹配结果。全连接性意味着我们要考虑图像中任意两点的颜色和空间关系，联合能量是指既考虑全局的能量项，也考虑局部的能量项。我们的方法计算的是每个像素点属于每一级视差的分类概率，最后使用赢者通吃的策略获得每个点的视差值。一种基于全连接随机场联合能量最小化的双目立体匹配方法，从左图和右图中任意选择一个作为目标图像，以另一个作为匹配图像，进行双目立体匹配时针对目标图像进行如下步骤：(1)计算目标图像中每个像素点相对于匹配图像的匹配误差向量，所述匹配误差向量的维数等于预设的视差级别总数；(2)根据匹配误差向量基于全连接随机场联合能量构建图像视差值的随机场模型；(3)以随机场模型的能量最小作为求解目标，使用平均场近似算法迭代求解所述的随机场模型以更新分类概率(即视差分类概率)，每次迭代得到的迭代结果为目标图像中所有像素点的分类概率向量，并比较相邻两次迭代结果以判断本次迭代结果是否收敛：若收敛，则停止迭代，并根据此次迭代结果确定各个像素点的视差值以构建目标图像的视差图；否则，继续进行下一次迭代；第一次迭代完成后判断迭代收敛时，将第一次迭代结果与初始分类概率向量比较，其中，目标图像中每个像素点的初始分类概率向量根据相应的匹配误差向量计算得到。在双目视觉匹配领域，通常选择左图作为目标图像，实际上选择右图作为目标图像也是可行的。所述随机场模型如下：其中，E(d)为随机场的能量，ψu(di)为目标图像中第i个像素点的视差值为di时的单项匹配误差，di为目标图像中第i个像素点的视差值，dj为目标图像第j个像素的视差值，ψp(di,dj)表示目标图像中第i个像素点的视差值为di、第j像素点的视差值为dj时的全局能量项，表示目标图像中第i个像素点的视差值为di、第j像素点的视差值为dj时的局部能量项，N(i)表示第i个像素点的八个相邻像素点的集合(以第i个像素点为中心的3×3区域内的像素点)，ω为全局能量影响因子，为局部能量影响因子。随机场模型中di和dj相互独立，二者取值可以相同也可以不同。全局能量项的表达式如下：ψp(di,dj)＝μ(di,dj)·k(i,j)，μ(di,dj)采用Potts模型计算：k(i,j)为第i个像素和第j个像素之间的双边滤波项，其公式如下：σx和σf为双边滤波项的参数(取值范围大于0，优选为5和55)，xi为第i个像素点在目标图像中的位置向量(即坐标)，xj为第j个像素点在图像中的位置向量，Ii为第i个像素点的颜色向量，Ij为第j个像素点的颜色向量。局部能量项的表达式如下：满足λ1＜λ2＜λ3，作为优选，λ1、λ2、λ3三者的取值分别0.5，1.5，6.0；是目标图像中第i个像素点和第j个像素点的颜色相似性对视差相似性的影响因子，其目的是给两个像素基于颜色相似性施加视差相似性要求；为第i个像素的视差值为di，第j个像素的视差值为dj时第i个像素和第j个像素点的视差平滑值，通过如下公式计算：μ1和μ2和β都是给定的参数，作为优选，三者取值分别为3，7，1/6。ω和之间的相对大小能够体现全局能量项和局部能量项之间的相对重要性，用于平衡二者对随机场总能量的影响。作为优选，ω的取值为200～1000。 的取值为1000～2000。进一步优选，ω为2000，为800。所述步骤(3)每次迭代时具体包括如下步骤：(3-1)在随机场上进行消息传递，分别计算各个像素点的全局空间累积分类概率向量和局部空间累积分类概率向量；(3-2)在随机场上进行标签兼容性变换，分别计算各个像素点的全局标签累积概率向量和局部标签累积概率向量；(3-3)针对任意一个像素点，根据如下公式计算该像素点的分类概率向量在第di维上的分量Qi(di)，并根据计算结果进行归一化处理得到分类概率向量：其中，和分别为第i个像素点的全局标签累积概率向量和局部标签累积概率向量在第di维上的分量。分别根据如下本文档来自技高网...
【技术保护点】
一种基于全连接随机场联合能量最小化的双目立体匹配方法，其特征在于，从左图和右图中任意选择一个作为目标图像，以另一个作为匹配图像，进行双目立体匹配时针对目标图像进行如下步骤：(1)计算目标图像中每个像素点相对于匹配图像的匹配误差向量，所述匹配误差向量的维数等于预设的视差级别总数；(2)根据匹配误差向量基于全连接随机场联合能量构建图像视差值的随机场模型；(3)以随机场模型的能量最小作为求解目标，使用平均场近似算法迭代求解所述的随机场模型，每次迭代得到的迭代结果为目标图像中所有像素点的分类概率向量，并比较相邻两次迭代结果以判断本次迭代结果是否收敛：若收敛，则停止迭代，并根据此次迭代结果确定各个像素点的视差值以构建目标图像的视差图；否则，继续进行下一次迭代；第一次迭代完成后判断迭代收敛时，将第一次迭代结果与初始分类概率向量比较，其中，目标图像中每个像素点的初始分类概率向量根据相应的匹配误差向量计算得到。
【技术特征摘要】
1.一种基于全连接随机场联合能量最小化的双目立体匹配方法，其特征在于，从左图和右图中任意选择一个作为目标图像，以另一个作为匹配图像，进行双目立体匹配时针对目标图像进行如下步骤：(1)计算目标图像中每个像素点相对于匹配图像的匹配误差向量，所述匹配误差向量的维数等于预设的视差级别总数；(2)根据匹配误差向量基于全连接随机场联合能量构建图像视差值的随机场模型；(3)以随机场模型的能量最小作为求解目标，使用平均场近似算法迭代求解所述的随机场模型，每次迭代得到的迭代结果为目标图像中所有像素点的分类概率向量，并比较相邻两次迭代结果以判断本次迭代结果是否收敛：若收敛，则停止迭代，并根据此次迭代结果确定各个像素点的视差值以构建目标图像的视差图；否则，继续进行下一次迭代；第一次迭代完成后判断迭代收敛时，将第一次迭代结果与初始分类概率向量比较，其中，目标图像中每个像素点的初始分类概率向量根据相应的匹配误差向量计算得到。2.如权利要求1所述的基于全连接随机场联合能量最小化的双目立体匹配方法，其特征在于，所述随机场模型如下：其中，E(d)为随机场的能量，ψu(di)为目标图像中第i个像素点的视差值为di时的单项匹配误差，ψp(di,dj)表示目标图像中第i个像素点的视差值为di、第j像素点的视差值为dj时的全局能量项，表示目标图像中第i个像素点的视差值为di、第j像素点的视差值为dj时的局部能量项，N(i)表示第i个像素点的八个相邻像素点的集合，ω为全局能量影响因子，为局部能量影响因子。3.如权利要求2所述的基于全连接随机场联合能量最小化的双目立体匹配方法，其特征在于，ω的取值为200～1000 。4.如权利要求3所述的基于全连接随机场联合能量最小化的双目立体匹配方法，其特征在...
【专利技术属性】
技术研发人员：薛弘扬，蔡登，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。