一种通用双目立体匹配方法组成比例

本发明专利技术提供了一种通用双目立体匹配的方法，包括双目标定、双目图像矫正、双目立体匹配、匹配代价计算、匹配代价聚合、视差计算、视差图优化步骤，采用统一的代价聚合函数框架在不同尺度上进行代价匹配，利用各像素窗口的信息熵作为不同尺度下匹配代价对整个匹配代价的影响因子；同时为了保证不同尺度下同一像素的代价一致性,在代价函数里加入正则化因子。一种通用双目立体匹配的方法可以应用在利用多尺度进行代价匹配的算法上，并使原有算法的准确率和鲁棒性得到改善，提高了多尺度立体匹配的准确率和鲁棒性。

A General Binocular Stereo Matching Method

【技术实现步骤摘要】
一种通用双目立体匹配方法
本专利技术涉及一种通用双目立体匹配方法，是一种基于双目立体视觉、通过对图像对立体匹配计算深度的方法，属于计算机视觉领域。
技术介绍
立体匹配可以用来求取双目相机、多目相机或者具有交叉视野序列图像的深度图。旨在寻找多幅图像中相对应的点，广泛应用在机器人导航、无人驾驶、虚拟现实、三维重建等领域内。立体匹配技术的研究热点主要集中于三类匹配算法：基于局部、基于全局和基于半全局的立体匹配算法。Scharstein等将立体匹配算法分为四个步骤：代价计算、代价聚合、视差计算、视差求精。在代价计算阶段，在可能的视差范围内根据对应像素的匹配代价生成三维代价体(costvolume)。在代价聚合阶段，对每个像素的窗口区域内根据相应的核函数进行代价聚合。然后每个像素的视差可以由局部或者全局优化方法求得。最后对视差图进行求精计算。大多数代价聚合可以看成是对代价体进行滤波操作。盒滤波和高斯滤波为最基本的线性滤波器，运行速度较快，但其会模糊视差图像使精度下降。Yoon等引入具有边缘感知的双边滤波器应用在代价聚合步骤上，往往需要较大的滤波窗口才能生成比较准确的视差图，其计算复杂度较大。Rhemann等把引导滤波器应用在代价聚合上，其计算复杂度与窗口大小无关。Yang等提出一种半局部代价聚合方法，其将整副图像作为核函数窗口。利用最小生成树加速代价匹配。Mei等先对图像进行分割，后采用半局部方法对每个分割块求取子树，然后根据贪心算法，将各个分割对应的子树进行合并。这些算法极大提高了立体匹配的精度，但同时其未利用像人眼视觉系统采取由粗到精的策略融合多尺度图像信息来处理匹配问题，不能充分利用图像内容信息。因此Zhang等提出跨尺度代价聚合方法，并设计了统一的代价聚合模型。可融合现有的多种立体匹配算法，同时又考虑跨尺度的交互，引入正则化项，目前被多数多尺度匹配算法采用。综上所述，目前聚合算法大多在多尺度下进行代价聚合，其根据人眼视觉模型融合不同尺度的匹配代价，从而减小误匹配率。但其一视同仁简单将各个尺度图像匹配代价相加，未考虑由于高斯滤波和下采样造成的信息丢失，使得单一尺度下匹配正确的点在多尺度融合中出现错误匹配。
技术实现思路
本专利技术实施例提供了一种通用双目立体匹配方法，是一种自适应权值的跨尺度立体匹配算法框架。采用统一的代价聚合函数框架在不同尺度上进行代价匹配，利用各像素窗口的信息熵作为不同尺度下匹配代价对整个匹配代价的影响因子；同时为了保证不同尺度下同一像素的代价一致性，在代价函数里加入正则化因子。一种通用双目立体匹配的方法可以应用在利用多尺度进行代价匹配的算法上，并使原有算法的准确率和鲁棒性得到改善，提高了多尺度立体匹配的准确率和鲁棒性。为解决上述技术问题，本专利技术提出的技术方案是：一种通用双目立体匹配方法，包括双目标定、双目图像矫正、双目立体匹配、匹配代价计算、匹配代价聚合、视差计算、视差图优化步骤，具体包括：01)双目标定：对双目相机进行标定，得到所述双目相机的相关参数；02)双目图像矫正，对双目相机在成像过程中存在的径向失真和切向失真进行畸变矫正、对双目相机所成的图像在同一平面内切同行对准进行立体矫正的双目图像矫正；03)双目立体匹配：利用双目标定得到的双目相机相关参数以及图像对，通过代价匹配生成初始视差空间，再通过代价聚合处理所述初始视差信息形成二次视差空间以及图像中各点的三维信息；04)匹配代价计算：将已校正的双目立体视觉传感器获得的左右两幅图像通过构造卷积神经网络CNN得到其深度特征图，以深度特征为基准计算像素的深度特征截断相似性测度，然后构造组合颜色、梯度和深度特征的截断匹配代价函数，根据立体图像对的视差搜索范围完成所有视差值下的匹配代价计算后得到匹配代价卷；05)匹配代价聚合：对步骤04的匹配代价计算阶段获得的匹配代价卷采用固定窗口、多窗口、可变窗口、自适应权重聚合或引导滤波方法代价聚合得到经过匹配代价聚合的代价卷。06)视差计算：将步骤05聚合后得到的经过匹配代价聚合的代价卷采用WTA(Winner-Take-All，即“胜者为王”)算法选择最优视差得到初始视差图，然后对初始视差图采用双峰测试BMD(Bimodality)、左-右一致性检测LRC(Left-RightChecking)、顺序一致性检测ORD(Ordering)或遮挡约束OCC(OcclusionConstraint)算法寻找遮挡区域，将遮挡区域的遮挡点赋予距离其最近的同行点的视差值后得到视差图；07)视差图优化：对步骤06的视差图使用均值滤波器或双边滤波器对视差图进行滤波，在图像平滑的同时恢复误匹配像素点得到最终视差图。所述的步骤01中，优选地，利用小孔成像原理实现双目相机中左右相机的标定、通过计算左右相机之间的旋转和平移矩阵实现双目相机的标定的离线相机标定。具体地，设定空间任意一点的像素坐标为(u，v)，其在世界坐标系中对应的坐标为(x，y，z)，依据小孔成像原理，两坐标满足：以双目相机对棋盘格标定板进行成像，通过harrs方法提取棋盘格上角点的像素坐标以及已知的棋盘格上角点的世界坐标，实现双目相机中左右相机的标定；通过R＝Rr(R1)T和T＝Tr-R*T1计算出左右相机之间的旋转和平移矩阵，实现双目相机的标定。所述的步骤02中，设定一点的坐标为(x，y)，点的真实的未畸变的坐标为(x0，y0)则双目相机的径向畸变模型和切向畸变模型分别可以表示为：xr＝x0*(k1*r2+k2*r4+1)yr＝y0*(k1*r2+k2*r4+1)实现图像的畸变矫正；在双目相机标定过程中可以得出左右相机的旋转矩阵，且左右相机之间存在如下关系：R＝r1/rrr1*rr＝1实现图像的立体矫正。所述的步骤03中，双目立体匹配步骤中还包括生成初始视差空间，所述步骤包括：图像划分：将所述图像通过超像素划分，获得包括超像素A在内的若干个超像素点；初始视差空间计算：初始视差空间通过下列公式求得：其中，表示超像素区域LA的像素pix视差空间之和，numer(pix∈LA)表示超像素区域LA的像素pix数量；需要说明的是，视差空间是指双目立体匹配时，依据视差的个数生成的视差匹配图。比如视差等级为D，图像的大小为W*H，则视差空间是D副大小为W*H构成的视差匹配图；numer(pix∈LA)表示的一个超像素分割区域的像素个数。需要说明的是，通过对图像的划分，可以方便后续代价聚合步骤的计算，只需要根据所得超像素点个数进行随机游走计算，而不需要根据图像的大小的数量进行计算，大大提高了运算效率。所述的步骤04中，在匹配代价计算中，规定两幅图为左图和右图，设置左图像素点位置为p(x，y)，则在右图像上偏移量为d的像素点位置为q(x-d，y)，该水平方向的偏移量d即视差，范围为dmin～dmax；匹配代价需要计算每个像素点在视差范围dmin～dmax内相似性，具体包括以下子步骤：(4.1)基于图片的颜色信息的相似性度量是采用计算像素p和q之间的颜色绝对差进行度量，如果是多通道的图像，则计算各个通道的颜色绝对差的平均值；(4.2)采用复合梯度进行相似性度量的时候，则计算的是像素p和q之间的复合梯度向量的绝对差求和，然后根据图像的颜色空间通道数ch求平均值；(4.3)本文档来自技高网...

【技术保护点】
1.一种通用双目立体匹配方法，一种通用双目立体匹配的方法，包括双目标定、双目图像矫正、双目立体匹配、匹配代价计算、匹配代价聚合、视差计算、视差图优化步骤，具体包括：01)双目标定：对双目相机进行标定，得到所述双目相机的相关参数；02)双目图像矫正：对双目相机在成像过程中存在的径向失真和切向失真进行畸变矫正、对双目相机所成的图像在同一平面内切同行对准进行立体矫正的双目图像矫正；03)双目立体匹配：利用双目标定得到的双目相机相关参数以及图像对，通过代价匹配生成初始视差空间，再通过代价聚合处理所述初始视差信息形成二次视差空间以及图像中各点的三维信息；04)匹配代价计算：将已校正的双目立体视觉传感器获得的左右两幅图像通过构造卷积神经网络CNN得到其深度特征图，以深度特征为基准计算像素的深度特征截断相似性测度，然后构造组合颜色、梯度和深度特征的截断匹配代价函数，根据立体图像对的视差搜索范围完成所有视差值下的匹配代价计算后得到匹配代价卷；05)匹配代价聚合：对步骤04的匹配代价计算阶段获得的匹配代价卷采用固定窗口、多窗口、可变窗口、自适应权重聚合或引导滤波方法代价聚合得到经过匹配代价聚合的代价卷。06)视差计算：将步骤05聚合后得到的经过匹配代价聚合的代价卷采用WTA(Winner‑Take‑All，即“胜者为王”)算法选择最优视差得到初始视差图，然后对初始视差图采用双峰测试BMD(Bimodality)、左一右一致性检测LRC(Left‑Right Checking)、顺序一致性检测ORD(Ordering)或遮挡约束OCC(Occlusion Constraint)算法寻找遮挡区域，将遮挡区域的遮挡点赋予距离其最近的同行点的视差值后得到视差图；07)视差图优化：对步骤06的视差图使用均值滤波器或双边滤波器对视差图进行滤波，在图像平滑的同时恢复误匹配像素点得到最终视差图。...

【技术特征摘要】
1.一种通用双目立体匹配方法，一种通用双目立体匹配的方法，包括双目标定、双目图像矫正、双目立体匹配、匹配代价计算、匹配代价聚合、视差计算、视差图优化步骤，具体包括：01)双目标定：对双目相机进行标定，得到所述双目相机的相关参数；02)双目图像矫正：对双目相机在成像过程中存在的径向失真和切向失真进行畸变矫正、对双目相机所成的图像在同一平面内切同行对准进行立体矫正的双目图像矫正；03)双目立体匹配：利用双目标定得到的双目相机相关参数以及图像对，通过代价匹配生成初始视差空间，再通过代价聚合处理所述初始视差信息形成二次视差空间以及图像中各点的三维信息；04)匹配代价计算：将已校正的双目立体视觉传感器获得的左右两幅图像通过构造卷积神经网络CNN得到其深度特征图，以深度特征为基准计算像素的深度特征截断相似性测度，然后构造组合颜色、梯度和深度特征的截断匹配代价函数，根据立体图像对的视差搜索范围完成所有视差值下的匹配代价计算后得到匹配代价卷；05)匹配代价聚合：对步骤04的匹配代价计算阶段获得的匹配代价卷采用固定窗口、多窗口、可变窗口、自适应权重聚合或引导滤波方法代价聚合得到经过匹配代价聚合的代价卷。06)视差计算：将步骤05聚合后得到的经过匹配代价聚合的代价卷采用WTA(Winner-Take-All，即“胜者为王”)算法选择最优视差得到初始视差图，然后对初始视差图采用双峰测试BMD(Bimodality)、左一右一致性检测LRC(Left-RightChecking)、顺序一致性检测ORD(Ordering)或遮挡约束OCC(OcclusionConstraint)算法寻找遮挡区域，将遮挡区域的遮挡点赋予距离其最近的同行点的视差值后得到视差图；07)视差图优化：对步骤06的视差图使用均值滤波器或双边滤波器对视差图进行滤波，在图像平滑的同时恢复误匹配像素点得到最终视差图。2.根据权利要求1所述的一种通用双目立体匹配方法，其特征在于所述步骤01中，设定空间任意一点的像素坐标为(u，v)，其在世界坐标系中对应的坐标为(x，y，z)，依据小孔成像原理，两坐标满足：以双目相机对棋盘格标定板进行成像，通过harrs方法提取棋盘格上角点的像素坐标以及已知的棋盘格上角点的世界坐标，实现双目相机中左右相机的标定。通过R＝Rr(R1)T和T＝Tr-R*T1计算出左右相机之间的旋转和平移矩阵，实现双目相机的标定。3.根据权利要求1所述的一种通用双目立体匹配方法，其特征在于，在步骤02中，设定一点的坐标为(x，y)，点的真实的未畸变的坐标为(x0，y0)则双目相机的径向畸变模型和切向畸变模型分别可以表示为：xr＝x0*(k1*r2+k2*r4+1)yr＝y0*(k1*r2+k2*r4+1)实现图像的畸变矫正；在双目相机标定过程中可以得出左右相机的旋转矩阵，且左右相机之间存在如下关系：R＝r1/rrr1*rr＝1实现图像的立体矫正。4.根据权利要求1所述的一种通用双目立体匹配方法，其特征在于，在步骤03中，双目立体匹配步骤中还包括生成初始视差空间，所述步骤包括：图像划分：将所述图像通过超像素划分，获得包括超像素A在内的若干个超像素点；初始视差空间计算：初始视差空间通过下列公式求得：其中，表示超像素区域LA的像素pix视差空间之和，numer(pix∈LA)表示超像素区域LA的像素pix数量。5.根据权利要求1所述的一种通用双目立体匹配方法，其特征在于，在所述的步骤04中，规定两幅图为左图和右图，设置左图像素点位置为p(x，y)，则在右图像上偏移量为d的像素点位置为q(x-d，y)，该水平方向的偏移量d即视差，范围为dmin～dmax；匹...

【专利技术属性】
技术研发人员：韩永昌，李培刚，王文峰，
申请(专利权)人：青岛康特网络科技有限公司，
类型：发明
国别省市：山东,37