一种基于双目立体视觉的立体匹配方法组成比例

本发明专利技术是一种基于双目立体视觉的立体匹配方法，该方法包括构建高斯金字塔、匹配代价计算和代价聚合、匹配代价融合、计算视差、视差图修复及空洞填补、视差精细化六个阶段，在代价聚合阶段加入拉普拉斯金字塔变换，在视差图修复和空洞填补阶段采用了一种基于边缘保护的插值算法，在视差精细化阶段加入基于加权联合双边滤波的视差精细化方法，获得高精度的视差图。本发明专利技术计算量适中，融合不同尺度下的匹配结果，在代价聚合阶段和视差精细化阶段进行了改进，能够获得更好的视差图。并且对于光照等外部噪音具有一定的鲁棒性。

【技术实现步骤摘要】

本专利技术涉及一种基于双目立体视觉的立体匹配方法，是一种基于双目立体视觉、通过对图像对立体匹配计算深度的方法，属于计算机视觉领域。立体匹配是通过查找不同视角拍摄的两幅或者多幅同一场景不同图像间的匹配像素点，然后将匹配像素点之间的2D位移差(也叫视差disparity)转换为3D深度，从而估算出场景的一个3D模型。立体匹配广泛应用于虚拟现实、机器人导航、3D场景绘制与重建、大型机械姿态感知等领域。
技术介绍
美国麻省理工学院(MIT)人工智能实验室的D.Marr教授提出一种成功应用在双目匹配上的视觉计算理论，D.Marr教授通过2张有视差的平面数字图像获得有深度的立体图形，创造性地提出了双目图像匹配的理论基础。Tomasi，Kansde利用正交投影模型作为摄像机成像模型，其摄像机运动和三维结构信息是由仿射分解的方法得出的，他们研制的系统为了解决特征点匹配问题利用了基于光流的跟踪技术，因为只有在物体尺寸远小于物体深度时，正交投影模型才成立，所以该方法有一定局限性。近几年来，国内学者在双目立体视觉匹配方面进行了大量的研究，中科院自动化研究所的雷成，开发了CVSuite软件，实现了特征点提取、立体匹配、摄像机自标定和三维显示。中科院沈阳自动化所的机器人视觉研究组的钟云德，采用了一种半稠密匹配方法进行双目图像的立体匹配，该方法比较好地实现双目立体匹配，但匹配过程复杂且匹配时间响应增大。清华大学的王磊提出了基于平面的摄影变换和遗传算法的匹配算法，该方法使用的是平面投影变换，所以在使用过程中有旋转而不能平移。传统的匹配算法采用了基于特征的匹配算法(Feature-matchingAlgorithm)和基于区域的匹配算法(Area-matchingAlgorithm)。基于特征的立体匹配算法要以提取特征信息为前提，虽然易于实现，但由于所能提取的特征点个数非常有限，特征提取的方法直接影响算法的好坏，基于特征的匹配算法匹配误差较大，只能获得稀疏的视差图，不能应用于要求较高的场合。传统的区域匹配算法是以固定的窗口为模板，比较两幅图像的相似度，相似度最高的则为实现了匹配，所以该算法能够获得稠密的视差图，但窗口大小的选择则成为了一个重要问题，窗口选择太大，则相当于一个均值滤波器，往往会损失边缘信息，窗口选择太小，受噪声影响的程度就越大。阻碍立体匹配正确率的因素有许多，其中最主要的是噪声问题、视差不连续问题、弱纹理和重复纹理问题，归结如下：(1)光学失真和噪声(亮度、色调、饱和度等失衡)：立体匹配研究中无论是使用自己获取的图像还是标准图像库中的图像，光学失真和噪声都是不可避免的问题。它们是由摄像机等设备和环境等客观因素造成的，与算法本身关系不大，但是在处理过程中必不可少的会受到亮度、色调、饱和度等失衡带来的干扰。(2)视差不连续问题：不同物体相交的轮廓区域视差值都是不连续的，在视差不连续区域纹理信息特别丰富，这无疑增加了立体匹配的难度，所以在进行视差估计时，需要考虑到这一不连续的特性，同时视差不连续区域一般都是和遮挡区域紧靠在一起的，所以在计算此处视差时特别容易出现错误匹配。(3)弱纹理和重复纹理问题：对于这些区域在寻找匹配点时会发现有不止一个像素点与其对应，想要在这些区域能够找到最合适的视差，就需要找到足够多的特征来进行区别，而如何才能找到这些特征量却不是一件容易的事情。正是由于立体匹配存在的这些问题，才使得它一直成为研究人员关心的重点。随着科学技术的快速发展，对于解决立体匹配这一问题的渴望也变得越来越迫切，各国科学家也都在努力寻求一种高效快速的方法来突破这一瓶颈。
技术实现思路
技术问题：为解决上述问题，本专利技术提供一种基于双目立体视觉的立体匹配方法，在代价聚合阶段加入拉普拉斯金字塔变换，在视差图修复和空洞填补阶段采用了一种基于边缘保护的插值算法，在视差精细化阶段加入基于加权联合双边滤波的视差精细化方法，获得高精度的视差图。本专利技术计算量适中，融合不同尺度下的匹配结果，在代价聚合阶段和视差精细化阶段进行了改进，能够获得更好的视差图。并且对于光照等外部噪音具有一定的鲁棒性。技术方案：本专利技术的一种基于双目立体视觉的立体匹配方法包括构建高斯金字塔、匹配代价计算和代价聚合、匹配代价融合、计算视差、视差图修复及空洞填补、视差精细化六个阶段，1)构建高斯金字塔阶段：在立体匹配图像对上分别构建多层高斯金字塔，随着分辨率的降低，高斯金字塔低分辨率分解层上的最大视差也相应减小；2)匹配代价计算和代价聚合：在高斯金字塔各分解层下分别进行匹配代价计算和代价聚合操作得到各个尺度下的匹配代价卷，引入拉普拉斯金字塔变换，在融合高斯金字塔各个分解层上的匹配代价之前进行拉普拉斯上采样，使其分辨率与原图像一致；3)匹配代价融合：融合各个尺度分辨率下的匹配代价卷costvolume，得到最终与原图像分辨率一致的匹配代价卷；4)视差计算：在最终匹配代价卷上使用WTA(胜者为王)算法，从匹配代价卷的多个匹配代价图中，取每个像素点的最小匹配代价所对应的视差作为该像素点的视差，此时匹配代价最小，两幅图像对应视差下的像素点对最相似匹配，计算出每个像素点的视差即构成视差图；5)视差图修复及空洞填补：分别以左右图像为参考图像按4)分别计算出左右视差图，保留左右视差图原有的空洞区域，对于左右视差图相差很大的区域重置为空洞，形成一张带有空洞的视差图，采用一种基于边缘保护的插值算法进行空洞填补；6)视差精细化：对初始视差图使用基于加权联合双边滤波的视差精细化方法进行精细化，去除视差图中的噪声，以及物体边缘轮廓的模糊，得到质量更好的视差图。其中：所述步骤2)，引入拉普拉斯金字塔变换，在融合高斯金字塔各个分解层上的匹配代价之前进行拉普拉斯上采样，具体步骤包括：2.1)把低分辨率高斯金字塔分解层图像通过扩大算子进行扩充放大，其中扩大算子是通过对该分解层进行插值实现的；2.2)通过求解高斯金字塔中每两层图像之间的差异得到图像的拉普拉斯金字塔；2.3)将原立体图像对使用高斯金字塔变换分解到多个高斯分解层；2.4)在每个分解层下计算匹配代价并独立进行代价聚合，得到多个匹配代价卷；2.5)在低分辨率高斯分解层上的匹配代价卷上进行拉普拉斯上采样，使低分辨率高斯分解层上的匹配代价卷通过多次拉普拉斯上采样后分辨率和原图像一样，得到最后的匹配代价向量。所述的步骤5)，采用基于边缘保护的插值算法进行空洞填补，具体步骤包括：5.1)提取左图的边缘轮廓信息，采用基于森林SED算法、GPB算法、candy算法或图像梯度算法；边缘轮廓之内的部分属于同一个物体，同一个物体的深度相近；5.2)计算两个像素之间的代价距离：在两个像素之间所有可能的路径上，累计经过每个像素的代价和作为这条路径的代价，取所有路径代价中的最小值作为两个像素之间的代价距离；而经过每个像素点的代价与轮廓边界信息相对应，在边缘轮廓之内像素点之间代价距离小，而与边缘轮廓之外的其他像素点之间的代价距离大；5.3)按照5.2)所示方法计算代价距离，对于空洞中的边缘像素点，找到多个与它代价距离最近且已知视差的像素点；5.4)对于5.3)得到的多个像素点，累计它们的视差与权值的乘积的和，并取平均值得到最后的视差，权值通过自变量为代价距离的高斯函数计算。本文档来自技高网...

【技术保护点】
一种基于双目立体视觉的立体匹配方法，其特征在于该方法包括构建高斯金字塔、匹配代价计算和代价聚合、匹配代价融合、计算视差、视差图修复及空洞填补、视差精细化六个阶段，1)构建高斯金字塔阶段：在立体匹配图像对上分别构建多层高斯金字塔，随着分辨率的降低，高斯金字塔低分辨率分解层上的最大视差也相应减小；2)匹配代价计算和代价聚合：在高斯金字塔各分解层下分别进行匹配代价计算和代价聚合操作得到各个尺度下的匹配代价卷，引入拉普拉斯金字塔变换，在融合高斯金字塔各个分解层上的匹配代价之前进行拉普拉斯上采样，使其分辨率与原图像一致；3)匹配代价融合：融合各个尺度分辨率下的匹配代价卷cost volume，得到最终与原图像分辨率一致的匹配代价卷；4)视差计算：在最终匹配代价卷上使用胜者为王算法WTA，从匹配代价卷的多个匹配代价图中，取每个像素点的最小匹配代价所对应的视差作为该像素点的视差，此时匹配代价最小，两幅图像对应视差下的像素点对最相似匹配，计算出每个像素点的视差即构成视差图；5)视差图修复及空洞填补：分别以左右图像为参考图像按4)分别计算出左右两幅视差图，保留左右视差图原有的空洞区域，对于左右视差图相差很大的区域重置为空洞，形成一张带有空洞的视差图，采用一种基于边缘保护的插值算法进行空洞填补；6)视差精细化：对初始视差图使用基于加权联合双边滤波的视差精细化方法进行精细化，去除视差图中的噪声，以及物体边缘轮廓的模糊，得到质量更好的视差图。...

【技术特征摘要】
1.一种基于双目立体视觉的立体匹配方法，其特征在于该方法包括构建高斯金字塔、匹配代价计算和代价聚合、匹配代价融合、计算视差、视差图修复及空洞填补、视差精细化六个阶段，1)构建高斯金字塔阶段：在立体匹配图像对上分别构建多层高斯金字塔，随着分辨率的降低，高斯金字塔低分辨率分解层上的最大视差也相应减小；2)匹配代价计算和代价聚合：在高斯金字塔各分解层下分别进行匹配代价计算和代价聚合操作得到各个尺度下的匹配代价卷，引入拉普拉斯金字塔变换，在融合高斯金字塔各个分解层上的匹配代价之前进行拉普拉斯上采样，使其分辨率与原图像一致；3)匹配代价融合：融合各个尺度分辨率下的匹配代价卷costvolume，得到最终与原图像分辨率一致的匹配代价卷；4)视差计算：在最终匹配代价卷上使用胜者为王算法WTA，从匹配代价卷的多个匹配代价图中，取每个像素点的最小匹配代价所对应的视差作为该像素点的视差，此时匹配代价最小，两幅图像对应视差下的像素点对最相似匹配，计算出每个像素点的视差即构成视差图；5)视差图修复及空洞填补：分别以左右图像为参考图像按4)分别计算出左右两幅视差图，保留左右视差图原有的空洞区域，对于左右视差图相差很大的区域重置为空洞，形成一张带有空洞的视差图，采用一种基于边缘保护的插值算法进行空洞填补；6)视差精细化：对初始视差图使用基于加权联合双边滤波的视差精细化方法进行精细化，去除视差图中的噪声，以及物体边缘轮廓的模糊，得到质量更好的视差图。2.根据权利要求1所述的基于双目立体视觉的立体匹配方法，其特征在于所述步骤2)，引入拉普拉斯金字塔变换，在融合高斯金字塔各个分解层上的匹配代价之前进行拉普拉斯上采样，具体步骤包括：2.1)把低分辨率高斯金字塔分解层图像通过扩大算子进行扩充放大，其中扩大算子是通过对该分解层进行插值实现的；2.2)通过求解高斯金字塔中每两层图像之间的差异得到图像的拉普拉斯金字塔；2.3)将原立体图像对使用高斯金字塔变换分解到多个高斯分解层；2.4)在每个分解层下计算匹配代价并独立进行代价聚合，得到多个匹配代价卷；2.5)在低分辨率高斯分解层上的匹配代价卷上进行拉普拉斯上采样，使...

【专利技术属性】
技术研发人员：姚莉，刘祖奎，王秉凤，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32