基于全局块优化的立体影像密集匹配方法组成比例

本发明专利技术公开了一种本发明专利技术涉及基于全局块优化的立体影像密集匹配方法，步骤为：1、选择基准影像和参考影像，采用传统的立体影像密集匹配算法获得初匹配视差图；2、采用超像素分割技术，将基准影像分割成一系列相互邻接的块；3、构建全局能量函数中的数据项；4、构建全局能量函数中的平滑项；5、根据数据项和平滑项，建立全局能量函数，并采用最小二乘的方法解算函数，获得全局最优解，生成精确、连续、光滑的匹配视差图。本发明专利技术能够有效消除传统立体影像密集匹配算法中普遍存在的“视差阶梯”问题，生成的匹配视差图中，模型表面连续光滑，三维重建精度高。

Stereo image dense matching method based on global block optimization

The invention discloses a the invention relates to a dense matching method, global optimization based on stereo image block comprises the following steps: 1, select the reference image and the reference image, using the traditional stereo image matching algorithm to obtain the initial matching dense disparity map; 2, the super pixel segmentation technique, the reference image is segmented into a series of mutually adjacent block 3, building a data item; global energy function; 4, construct the smoothing term global energy function; 5, according to data smoothness, establish a global energy function, and using the method of least squares solution function, obtain the global optimal solution, generating accurate disparity map, continuous and smooth. The invention can effectively eliminate the disparity ladder problem commonly existing in the dense matching algorithm of the traditional stereo image, and the model surface in the matching disparity map is continuous and smooth, and the three-dimensional reconstruction precision is high.

【技术实现步骤摘要】
基于全局块优化的立体影像密集匹配方法
本专利技术涉及立体影像密集匹配
，具体地指一种基于全局块优化的立体影像密集匹配方法。技术背景立体影像密集匹配指根据一定的匹配代价优化方法，逐像素地匹配出两幅影像之间同名点的过程。根据优化方法的不同，可以将立体影像密集匹配方法分为：局部密集匹配、半全局密集匹配和全局密集匹配。立体影像密集匹配是三维建模、虚拟现实、计算机视觉等领域的核心技术之一，能够用于无人自动驾驶、无人机自动巡航、3D地图、3D打印、智慧城市、机器人双目视觉、虚拟电商等应用。目前主流的三维建模技术包括：人工手动建模技术、激光扫描技术、结构光技术和立体影像密集匹配技术。与其余两种技术相比，立体影像密集匹配技术的优势在于：(1)成本低廉；(2)平面精度高；(3)建模范围大；(4)反映三维模型的颜色信息。传统的立体影像密集匹配算法包括双边滤波算法、半全局密集匹配算法(Semi-globalMatching，SGM)、图割算法、置信传播算法等等。这些算法总是假设影像中相邻像素之间的视差要尽可能满足视差一致的约束。实际上，在三维模型的斜面区域，相邻像素的视差是不可能一致的。如果在斜本文档来自技高网...

【技术保护点】
一种基于全局块优化的立体影像密集匹配方法，其特征在于，它包括如下步骤：步骤1：在立体影像中，选择基准影像和参考影像，采用传统的立体影像密集匹配方法，获取初匹配的视差图；步骤2：采用SLIC超像素分割方法，将基准影像分割成一系列相互邻接的块，用Si表示基准影像上的第i个块；步骤3：构建基于全局块优化的立体影像密集匹配全局能量函数中的数据项Edata，数据项Edata用于描述基准影像的每个块与参考影像上的同名块之间的非相似性测度；每个所述块都用一个视差平面方程来描述，即：

【技术特征摘要】
1.一种基于全局块优化的立体影像密集匹配方法，其特征在于，它包括如下步骤：步骤1：在立体影像中，选择基准影像和参考影像，采用传统的立体影像密集匹配方法，获取初匹配的视差图；步骤2：采用SLIC超像素分割方法，将基准影像分割成一系列相互邻接的块，用Si表示基准影像上的第i个块；步骤3：构建基于全局块优化的立体影像密集匹配全局能量函数中的数据项Edata，数据项Edata用于描述基准影像的每个块与参考影像上的同名块之间的非相似性测度；每个所述块都用一个视差平面方程来描述，即：其中，ai、bi、ci表示块Si的视差平面方程参数；p＝(px,py)T表示块Si内的一个像素；d表示像素所对应的视差；表示像素p的重心化坐标；令表示块Si所对应的视差平面方程系数的改正数，表示基准影像上所有视差平面方程系数的改正数所组成的未知数向量，τ表示块的数目，i∈1,...τ，可以将能量函数的数据项表示为：式中，Gdata表示数据项Edata的二次项系数矩阵；Hdata表示数据项Edata的一次项的系数矩阵，Edata为基于全局块优化的立体影像密集匹配的全局能量函数的数据项，T表示转置符号，上述二次项系数矩阵Gdata和一次项系数矩阵Hdata的具体表达为：Gdata＝Diag(-gdata(Si))；上式中，Diag表示对角线矩阵；gdata(Si)、hdata(Si)分别表示Gdata、Hdata中的对应Si的块矩阵；a、b、c表示视差平面方程系数；a0、b0、c0表示视差平面方程系数的初值；r(a0,b0,c0|Si)表示块Si所对应的相关系数；u＝a,borc表示函数r(a0,b0,c0|Si)对未知数u的一阶偏微分；u1＝a,borc,u2＝a,borc表示函数r(a0,b0,c0|Si)对未知数u1、u2的二阶偏微分；步骤4：构建基于全局块优化的立体影像密集匹配全局能量函数中的平滑项Esmooth，平滑项Esmooth用于保证相邻块之间连续平滑；同样令表示所有块所对应的视差方面方程参数的改正数组成的未知数向量，表示第τ个视差平面方程系数的改正数所组成的未知数向量，可以将平滑项Esmooth表示为：式中，Gs表示平滑项Esmooth的二次项系数矩阵，HS表示平滑项Esmooth的一次项系数矩阵；上述二次项系数矩阵Gs和一次项系数矩阵HS可以分别表达为：其中，τ表示块的数目；Sj表示Si的邻接块；N(Si)表示块Si的相邻块集合；E(Si,Sj)表示块Si内与块Sj相邻接的像素集合；|E(Si,Sj)|表示集合E(Si,Sj)内的像素数目；ci＝(cix,ciy)T表示块Si的重心；Pn1(i,j)表示根据块Si与块Sj的邻接关系计算出来的连接性惩罚系数；Pn2(i,j)表示根据块Si与块Sj的邻接关系计算出来的共面性惩罚系数；t表示基准影像上的一个像素，该像素位于集合E(Si,Sj)内，且是块与块之间邻接处的像素；gsr(Si,Sj,t)表示块Si与块Sj之间关于像素t的相关矩阵；hsr(Si,Sj,t)表示块Si与块Sj之间一次项系数矩阵的分块矩阵；

【专利技术属性】
技术研发人员：黄旭，周刚，高其双，胡堃，陆正武，蔡刚山，范超，
申请(专利权)人：武汉市工程科学技术研究院，
类型：发明
国别省市：湖北,42