一种超像素级别的图像全局匹配方法组成比例

一种超像素级别的图像全局匹配方法，由双目立体摄像机获取经过极线矫正的输入图像对，通过为图像对的每个像素计算自适应十字架来得到当前像素的自适应窗，并为其计算匹配代价，结合一种替换策略处理遮掩区域和一种次优策略处理图像边界；为图像创建超像素，对每块超像素区域的视差值进行平面拟合，确定可靠像素，并删除明显的错误平面以确定初始视差平面集；根据已经得到像素匹配代价来计算超像素的匹配代价，构建数据项与平滑项，利用Graph-Cut最优化算法对能量方程进行不断迭代，获取最终视差平面。本发明专利技术能有效避免在弱纹理区域、视差不连续区域以及遮挡区域容易产生的图像噪声、失真或像素值异常等情况，且鲁棒性良好，能获取更加接近真实场景的深度信息。

【技术实现步骤摘要】
一种超像素级别的图像全局匹配方法
本专利技术涉及计算机视觉、图像处理等
，尤其是基于全局优化框架的立体视觉匹配方法。
技术介绍
图像全局匹配方法，也称为基于全局优化框架的立体匹配方法。它将立体匹配问题通过建模的方式转化成一个最优化问题，并通过建立能量函数构造全局优化框架，最后在该全局优化框架下，利用最优化算法求解能量函数的最优解，得到一个全局意义上的立体匹配最优解。目前，解决此类问题比较流行的模型有马尔可夫随机场模型和贝叶斯模型及其衍生模型；常见的最优化方法有图割算法和置信度传播算法。相比于局部匹配算法，基于全局优化框架的立体匹配方法往往精度较高，且结果整体比较平滑；但是也存在着细节信息不够丰富，边缘地带会出现模糊，且执行效率较低等等缺点。
技术实现思路
为了克服已有图像全局匹配方法在弱纹理区域、视差不连续区域以及遮挡区域容易产生噪声、失真或异常值等的不足，本专利技术提供一种能有效避免这些情况，鲁棒性良好，且能获取更加接近真实场景的深度信息的超像素级别的图像全局匹配方法。本专利技术解决其技术问题所采用的技术方案是：一种超像素级别的图像全局匹配方法，所述匹配方法包括如下步骤：1)、利用标定板对双目摄像机进行标定并获取立体图像对；2)、过分割处理，将输入图像对分别分解成颜色或灰度均匀区域，并假定在这些区域中视差值平滑过渡，且视差不连续现象只出现在区域边界上；3)、为立体图像对中每个像素计算它的自适应十字架，四元组表示像素的左臂长、右臂长、上臂长和下臂长。以计算为例，对位于像素p左侧水平线上的一组连续的像素进行颜色相似度计算，pi＝(xp-i,yp)，表示像素p左侧水平线上第i个元素(i从1递增到L，L是预先设定的最大臂长，它负责控制像素p的最大匹配窗大小)；当时，i停止递增，令否则，令同理，可得到Ic表示对应颜色分量的强度值，τ为控制颜色相似性的置信度。根据已有的四元组为像素p计算得到它的H(p)和V(p)，H(p)表示像素p在它的水平线上的积分，V(p)表示像素p在它的垂直线上的积分；H(p)和V(p)共同决定了像素p的自适应十字架；4)、根据自适应十字架为每个像素评估它的自适应匹配窗。根据已经计算得到的自适应十字架，为每个像素p构造一个自适应匹配窗口U(p)，构建匹配窗U(p)的关键步骤是沿着像素p的垂直分割块V(p)滑动，对多个水平分割块H(q)做一个区域积分操作；其中，q是一个位于垂直分割块V(p)上的像素；5)、利用自适应匹配窗获取匹配代价分别计算左图像素p的自适应匹配窗U(p)以及右图像素p'的自适应匹配窗U'(p')，其中，左图中拥有视差d的像素p＝(xp,yp)在右图中找到对应像素p'＝(xp-d,yp)，像素p和像素p'之间的匹配代价计算公式如下，式中，Ud(p)＝{(x,y)|(x,y)∈U(p),(x-d,y)∈U'(p')}，ed(t)表示拥有视差d的像素t的未加工匹配代价，Ud(p)是仅包含有效像素的联合匹配窗；||Ud(p)||表示Ud(p)中像素的数量，它被用于规格化已聚类完成的匹配代价利用对应像素对，计算未加工匹配代价，当视差为d时，左图中t与右图中t′之间的匹配代价计算公式如下：其中，T控制了匹配代价的截断上限，Ic(t)表示t像素对应颜色分量c的颜色值，Ic'(t')表示像素t′对应颜色分量c的颜色值；6)通过处理遮挡区域和图像边界来优化匹配代价d(p)表示左图中像素p＝(xp,yp)的视差，同时d′(p′)表示右图中像素p'＝(xp-d(p),yp)的视差，假如d(p)、d′(p′)和d(p″)同时满足条件d(p)＞d'(p')和d'(p')≤d(p″)，其中p″＝(xp-d(p)+d'(p'),yp)，运用这样一个替换策略：用右图中像素p′的匹配代价替换原来左图中像素p的匹配代价；当(xp-d(p))＜1时，对应像素p′将位于右图的外侧，这就意味着我们不能利用对应像素来获取匹配代价Cd(p)，转而寻找一种次优的匹配代价Cd^(p)，其中，d^表示次优标记，d*表示最优标记，它们的计算公式如下：最后，当(xp-d(p))＜1时，用Cd^(p)表示像素p的匹配代价；7)、确定初始平面集，视差平面可以用三个参数a，b，c来表征，共同决定图中某个像素p(x,y)的视差d＝ax+by+c，采用三元组{a,b,c}来表示视差平面；8)、计算超像素的匹配代价根据得到的像素级别的匹配代价来计算超像素级别的匹配代价，像素级别匹配代价指的是像素p(x,y)当它取视差d时对应的匹配代价Cd(p)，而超像素级别匹配代价指的是超像素S取视差平面P{a,b,c}时所得到的匹配代价Cs(P)；先对每块超像素做一个可靠性判断，如果通过它拟合出来的视差平面式错误的，那么就认定这块超像素是不可靠的；反之，则认为它是可靠的，当超像素是可靠时，它的匹配代价计算公式如下：其中O表示超像素S中遮挡像素的集合，当超像素是不可靠时，它的匹配代价计算公式如下：其中U表示经过修复的像素集合；9)、构造数据项有了超像素的匹配代价后，就能找到一个唯一标签f，给每块超像素S∈R一个对应的视差平面f(S)∈D，R是指输入图像的超像素集合，D表示视差平面集合，数据项Edata(f)是一个可靠像素匹配代价的集合，它的构造公式如下：10)、构造平滑项用超像素内的所有像素颜色信息的平均值来表征这块超像素的颜色信息，平滑项Esmooth(f)的构造公式如下：其中，SN表示输入图内所有相邻超像素的集合，ColorD(Si,Sj)表示相邻超像素间的颜色差异，即求相邻超像素在RGB颜色空间上的欧式距离；PlaneD(Si,Sj)表示相邻超像素间的视差平面差异，即求{a,b,c}平面空间上的欧式距离；CommonD(Si,Sj)表示相邻超像素间共同边界的长度；11)、利用Graph-Cut最优化算法对能量方程进行能量最小化，能量方程包含数据项和平滑项，获得最终视差信息。更进一步，所述步骤11)中，利用最小割操作实现全局能量方程的最小化，步骤如下：当前标记值α的取值范围是从最小视差dmin到最大视差dmax，对α的每个取值做下述操作，对标签f做α-expansion处理，找到标签f*，使得f*的能量E(f*)最小，当E(f*)<E(f)时，更新f＝f*。据此，当遍历完取值范围[dmin,dmax]，发现并未对f做更新操作，则最小化过程结束；否则，重复开始步骤。再进一步，所述步骤1)中，设定平面标定板是位于世界坐标系里z＝0的位置，根据相机线性成像模型得出：其中，s为任意比例因子，A为相机内参数，[R,t]是旋转和平移矩阵的组合，它表征世界坐标系与相机坐标系的关系，ri表示旋转矩阵R的第i列；令H＝A[r1r2t]，根据标定板上标志点的坐标与其成像对应点我们可以求出H，设hi表示H的第i列，因此[h1h2h3]＝A[r1r2t](1.2)由于r1与r2为旋转矩阵R的两列，它们相互正交且模长均为1，由此得到内参的两个约束条件为:令其中为对称矩阵满足B＝BT，定义六维向量b＝[B11B12B22B13B23B33]，再令H矩阵的第i列hi＝[hi1,hi2,hi3]T，从而得到：其中，vij＝[hi1hj1,hi1hj2+hi2hj1,hi本文档来自技高网...

【技术保护点】
一种超像素级别的图像全局匹配方法，其特征在于：所述匹配方法包括如下步骤：1)、利用标定板对双目摄像机进行标定并获取立体图像对；2)、过分割处理，将输入图像对分别分解成颜色或灰度均匀区域，并假定在这些区域中视差值平滑过渡，且视差不连续现象只出现在区域边界上；3)、为立体图像对中每个像素计算它的自适应十字架，四元组表示像素的左臂长、右臂长、上臂长和下臂长。以计算为例，对位于像素p左侧水平线上的一组连续的像素进行颜色相似度计算，pi＝(xp‑i,yp)，表示像素p左侧水平线上第i个元素(i从1递增到L，L是预先设定的最大臂长，它负责控制像素p的最大匹配窗大小)；当maxc∈{R,G,B}(|Ic(p)-Ic(pi)|)>τ]]>时，i停止递增，令hp-=i-1,]]>否则，令hp-=L-1;]]>同理，可得到Ic表示对应颜色分量的强度值，τ为控制颜色相似性的置信度。根据已有的四元组为像素p计算得到它的H(p)和V(p)，H(p)表示像素p在它的水平线上的积分，V(p)表示像素p在它的垂直线上的积分；H(p)={(x,y)|x∈[xp-hp-,xp+hp+],y=yp}V(p)={(x,y)|x=xp,y∈[yp-vp-,yp+vp+]}---(3.1)]]>H(p)和V(p)共同决定了像素p的自适应十字架；4)、根据自适应十字架为每个像素评估它的自适应匹配窗。根据已经计算得到的自适应十字架，为每个像素p构造一个自适应匹配窗口U(p)，构建匹配窗U(p)的关键步骤是沿着像素p的垂直分割块V(p)滑动，对多个水平分割块H(q)做一个区域积分操作：U(p)=∪q∈V(p)H(q)---(4)]]>其中，q是一个位于垂直分割块V(p)上的像素；5)、利用自适应匹配窗获取匹配代价分别计算左图像素p的自适应匹配窗U(p)以及右图像素p'的自适应匹配窗U'(p')，其中，左图中拥有视差d的像素p＝(xp,yp)在右图中找到对应像素p'＝(xp‑d,yp)，像素p和像素p'之间的匹配代价计算公式如下，Cd(p)=1||Ud(p)||*Σt∈Ud(p)ed(t)*(logθ+1)---(5)]]>式中，Ud(p)＝{(x,y)|(x,y)∈U(p),(x‑d,y)∈U'(p')}，ed(t)表示拥有视差d的像素t的未加工匹配代价，Ud(p)是仅包含有效像素的联合匹配窗；||Ud(p)||表示Ud(p)中像素的数量，它被用于规格化已聚类完成的匹配代价利用对应像素对，计算未加工匹配代价，当视差为d时，左图中t与右图中t′之间的匹配代价计算公式如下：ed(t)=min(Σc∈{R,G,B}|Ic(t)-Ic′(t′)|,T)---(5.2)]]>其中，T控制了匹配代价的截断上限，Ic(t)表示t像素对应颜色分量c的颜色值，Ic'(t')表示像素t′对应颜色分量c的颜色值；6)、通过处理遮挡区域和图像边界来优化匹配代价d(p)表示左图中像素p＝(xp,yp)的视差，同时d′(p′)表示右图中像素p'＝(xp‑d(p),yp)的视差，假如d(p)、d′(p′)和d(p″)同时满足条件d(p)＞d'(p')和d'(p')≤d(p″)，其中p″＝(xp‑d(p)+d'(p'),yp)，运用这样一个替换策略：用右图中像素p′的匹配代价替换原来左图中像素p的匹配代价；当(xp‑d(p))＜1时，对应像素p′将位于右图的外侧，这就意味着我们不能利用对应像素来获取匹配代价Cd(p)，转而寻找一种次优的匹配代价Cd^(p)，d^=argmind∈[dmin,dmax],(xd-d)>0,d≠d*Cd(p)---(6.1)]]>其中，d^表示次优标记，d*表示最优标记，它们的计算公式如下：d*=argmind∈[dmin,dmax],(xd-d)>0Cd(p)---(6.2)]]>最后，当(xp‑d(p))＜1时，用Cd^(p)表示像素p的匹配代价；7)、确定初始平面集，视差平面可以用三个参数a，b，c来表征，共同决定图中某个像素p(x,y)的视差d＝ax+by+c，采用三元组{a,b,c}来表示视差平面；8)、计算超像素的匹配代价根据得到的像素级别的匹配代价来计算超像素级别的匹配代价，像素级别匹配代价指的是像素p(x,y)当它取视差d时对应的匹配代价Cd(p)，而超像素级别匹配代价指的是超像素S取视差平面P{a,b,c}时所得到的匹配代价Cs(P)；先对每块超像素做一个可靠性判断，如果通过它拟合出来的视差平面是错误的，那么就认定这块超像素是不可靠的；反之，...

【技术特征摘要】
1.一种超像素级别的图像全局匹配方法，其特征在于：所述匹配方法包括如下步骤：1)、利用标定板对双目摄像机进行标定并获取立体图像对；2)、过分割处理，将输入图像对分别分解成颜色或灰度均匀区域，并假定在这些区域中视差值平滑过渡，且视差不连续现象只出现在区域边界上；3)、为立体图像对中每个像素计算它的自适应十字架，四元组表示像素的左臂长、右臂长、上臂长和下臂长；以计算为例，对位于像素p左侧水平线上的一组连续的像素进行颜色相似度计算，pi＝(xp-i,yp)，表示像素p左侧水平线上第i个元素，i从1递增到L，L是预先设定的最大臂长，它负责控制像素p的最大匹配窗大小；当时，i停止递增，令否则，令同理，可得到Ic表示对应颜色分量的强度值，τ为控制颜色相似性的置信度；根据已有的四元组为像素p计算得到它的H(p)和V(p)，H(p)表示像素p在它的水平线上的积分，V(p)表示像素p在它的垂直线上的积分；H(p)和V(p)共同决定了像素p的自适应十字架；4)、根据自适应十字架为每个像素评估它的自适应匹配窗，根据已经计算得到的自适应十字架，为每个像素p构造一个自适应匹配窗口U(p)，构建匹配窗U(p)的关键步骤是沿着像素p的垂直分割块V(p)滑动，对多个水平分割块H(q)做一个区域积分操作：其中，q是一个位于像素p在它的垂直线上的积分V(p)上的像素；5)、利用自适应匹配窗获取匹配代价分别计算左图像素p的自适应匹配窗U(p)以及右图像素p'的自适应匹配窗U'(p')，其中，左图中拥有视差d的像素p＝(xp,yp)在右图中找到对应像素p'＝(xp-d,yp)，像素p和像素p'之间的匹配代价计算公式如下，式中，Ud(p)＝{(x,y)|(x,y)∈U(p),(x-d,y)∈U'(p')}，ed(t)表示拥有视差d的像素t的未加工匹配代价，Ud(p)是仅包含有效像素的联合匹配窗；||Ud(p)||表示Ud(p)中像素的数量，它被用于规格化已聚类完成的匹配代价利用对应像素对，计算未加工匹配代价，当视差为d时，左图中t与右图中t′之间的匹配代价计算公式如下：其中，T控制了匹配代价的截断上限，Ic(t)表示t像素对应颜色分量c的颜色值，Ic'(t')表示像素t′对应颜色分量c的颜色值；6)、通过处理遮挡区域和图像边界来优化匹配代价d(p)表示左图中像素p＝(xp,yp)的视差，同时d′(p′)表示右图中像素p'＝(xp-d(p),yp)的视差，假如d(p)、d′(p′)和d(p″)同时满足条件d(p)＞d'(p')和d'(p')≤d(p”)，其中p”＝(xp-d(p)+d'(p'),yp)，运用这样一个替换策略：用右图中像素p′的匹配代价替换原来左图中像素p的匹配代价；当(xp-d(p))＜1时，对应像素p′将位于右图的外侧，这就意味着我们不能利用对应像素来获取匹配代价Cd(p)，转而寻找一种次优的匹配代价Cd^(p)，其中，d^表示次优标记，d*表示最优标记，它们的计算公式如下：最后，当(xp-d(p))＜1时，用Cd^(p)表示像素p的匹配代价；7)、确定初始平面集，视差平面可以用三个参数a，b，c来表征，共同决定图中某个像素p(x,y)的视差d＝ax+by+c，采用三元组P{a,b,c}来表示视差平面；8)、计算超像素的匹配代价根据得到的像素级别的匹配代价来计算超像素级别的匹配代价，像素级别匹配代价指的是像素p(x,y)当它取视差d...

【专利技术属性】
技术研发人员：刘盛，张少波，金海强，郑焕彰，汪晓妍，陈胜勇，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江;33