一种结合深度特征的双目立体视觉匹配方法组成比例

本发明专利技术公开一种结合深度特征的双目立体视觉匹配方法，包括对左右图像经卷积神经网络得深度特征图，以深度特征为基准计算像素深度特征截断相似性测度，构造组合颜色、梯度和深度特征的截断匹配代价函数得匹配代价卷；对匹配代价卷采用固定窗口、可变窗口、自适应权重聚合或引导滤波方法得经过匹配代价聚合的代价卷；将前述代价卷采用WTA选择最优视差得初始视差图，然后采用双峰测试、左—右一致性检测、顺序一致性检测或遮挡约束算法寻找遮挡区域，将遮挡点赋予距离最近同行点的视差值得视差图；对视差图用均值或双边滤波器对视差图滤波得最终视差图。本发明专利技术能够有效降低立体匹配的误匹配率，图像平滑且有效保持图像边缘包括细小物体的边缘。

【技术实现步骤摘要】

本专利技术属于计算机视觉
，具体涉及一种误匹配率低、图像平滑且能有效保持图像边缘的结合深度特征的双目立体视觉匹配方法。
技术介绍
双目立体视觉系统由于最接近人类视觉系统，是近几十年以来计算机视觉领域发展最为活跃的方向之一。双目立体视觉系统是利用单目或者双目摄像机观察景物的方式，得到同一个世界场景在不同视角下的两幅图像，通过计算机辅助技术处理图像从而模拟人类双眼视觉系统获得该场景的三维信息的过程。双目立体视觉发展至今几十年的时间里，已在机器人视觉、医疗诊断、航空测绘、军事工程、工业监控、三维物体表面建模等方面得到非常广泛的应用。双目立体视觉系统流程分为图像获取、摄像机系统标定、双目立体匹配和场景三维重建四个步骤。立体匹配是计算同一个场景空间点在两幅成像平面中投影点的对应关系，以及通过立体匹配获得该空间点在两幅图像中的视差值，良好的立体匹配结果对于实现双目立体视觉三维重建至关重要。但立体匹配是双目立体视觉最重要也最困难的一步，至今仍为双目立体视觉发展的瓶颈所在。阻碍立体匹配技术顺利前进的因素有很多，图像中弱纹理区域或者重复纹理区域的存在以及遮挡区域的存在等均是制约其发展的重要原因。现有的以图像特征为基元的立体匹配方法通常只能得到特征区域像素的视差值，匹配结果具有稀疏性，想要得到稠密的视差图还需要借助后续的插值算法，然而这样就会相应降低匹配的精度。而稠密双目立体匹配算法可以分为局部立体匹配算法和全局立体匹配算法两大类，全局立体匹配算法借助多种约束条件和全局优化策略通常能够得到较好的立体匹配结果，但是该类算法的弊端就是复杂度高，计算量大；局部立体匹配算法较全局算法计算量小，复杂度低但其匹配精度也相对较低。因此，如何通过立体匹配技术获得高精度的视差图是双目立体视觉技术的关键。
技术实现思路
本专利技术的目的在于提供一种误匹配率低、图像平滑且能有效保持图像边缘的结合深度特征的双目立体视觉匹配方法。本专利技术目的是这样实现的，包括匹配代价计算、匹配代价聚合、视差计算、视差图优化步骤，具体包括：A、匹配代价计算：将已校正的双目立体视觉传感器获得的左右两幅图像通过构造卷积神经网络CNN（ConvolutionalNeuralNetworks）得到其深度特征图，以深度特征为基准计算像素的深度特征截断相似性测度，然后构造组合颜色、梯度和深度特征的截断匹配代价函数，根据立体图像对的视差搜索范围完成所有视差值下的匹配代价计算后得到匹配代价卷；B、匹配代价聚合：对A步骤的匹配代价卷采用固定窗口、多窗口、可变窗口、自适应权重聚合或引导滤波方法代价聚合得到经过匹配代价聚合的代价卷；C、视差计算：将B步骤聚合后得到的经过匹配代价聚合的代价卷采用WTA（Winner-Take-All，即“胜者为王”）算法选择最优视差得到初始视差图，然后对初始视差图采用双峰测试BMD（Bimodality）、左—右一致性检测LRC（Left-RightChecking）、顺序一致性检测ORD（Ordering）或遮挡约束OCC（OcclusionConstraint）算法寻找遮挡区域，将遮挡区域的遮挡点赋予距离其最近的同行点的视差值后得到视差图；D、视差图优化：对C步骤的视差图使用均值滤波器或双边滤波器对视差图进行滤波，在图像平滑的同时恢复误匹配像素点得到最终视差图。本专利技术与现有技术相比具有以下有益效果：1、本专利技术通过在像素相似性度量常用的像素颜色、梯度等特征的基础上提出使用图像的深层特征，引入卷积神经网络，对原始匹配图像构建卷积神经网络得到原始图像的深层特征图像，在该图像上以深度特征为基础计算匹配代价，构建颜色、梯度以及深度特征组合截断匹配代价函数，从而有效降低立体匹配的误匹配率。2、本专利技术在结合深度特征的匹配代价函数的基础上，在代价聚合方面特别利用了引导滤波对匹配代价卷做滤波处理，提高了图像的匹配精度，包括对遮挡区域以及视差不连续区域的匹配精度，提高了图像的平滑性。3、本专利技术在匹配聚合后将得到的匹配代价卷进行WTA算法选择最优视差，然后通过遮挡处理完成遮挡区域的检测，最后采用均值滤波器或双边滤波器对视差图进行后处理，得到最终视差，即能更进一步的降低立体匹配的误匹配率，而且还能有效保证图像边缘不被破坏。因此，本专利技术具有误匹配率低、图像平滑且能有效保持图像边缘的特点。附图说明图1为本专利技术立体匹配典型框架图；图2为本专利技术卷积神经网络框架图；图3为middlebury标准立体图像对；图4为初始视差图；图5为未经后处理的视差图；图6为视差图对比之一；图7为视差图对比之二；图中：A-匹配代价卷，A1-匹配代价片，S100-匹配代价计算，S200-匹配代价聚合，S300-视差计算，S400-视差图优化。具体实施方式下面结合附图与实施例对本专利技术作进一步的说明，但不以任何方式对本专利技术加以限制，依据本专利技术的教导所作的任何变更或替换，均属于本专利技术的保护范围。本专利技术方法包括匹配代价计算、匹配代价聚合、视差计算、视差图优化步骤，具体包括：A、匹配代价计算：将已校正的双目立体视觉传感器获得的左右两幅图像通过构造卷积神经网络CNN得到其深度特征图，以深度特征为基准计算像素的深度特征截断相似性测度，然后构造组合颜色、梯度和深度特征的截断匹配代价函数，根据立体图像对的视差搜索范围完成所有视差值下的匹配代价计算后得到匹配代价卷；B、匹配代价聚合：对A步骤的匹配代价卷采用固定窗口、多窗口、可变窗口、自适应权重聚合或引导滤波方法代价聚合得到经过匹配代价聚合的代价卷；C、视差计算：将B步骤聚合后得到的经过匹配代价聚合的代价卷采用WTA算法选择最优视差得到初始视差图，然后对初始视差图采用双峰测试BMD、左—右一致性检测LRC、顺序一致性检测ORD或遮挡约束OCC算法寻找遮挡区域，将遮挡区域的遮挡点赋予距离其最近的同行点的视差值后得到视差图；D、视差图优化：对C步骤的视差图使用均值滤波器或双边滤波器对视差图进行滤波，在图像平滑的同时恢复误匹配像素点得到最终视差图。所述卷积神经网络CNN（ConvolutionalNeuralNetworks）基本结构通常包括两层，其一为特征提取层，该层中每个神经元的输入与前一层的局部接受域连接，提取该局部特征。一旦该局部特征被提取后，它与其它特征间的位置关系也就随之确定下来；其二是特征映射层，卷积神经网络的每个计算层由多个特征映射组成，每一个特征映射就是一个平面，平面上所有神经元拥有相同的权值。特征映射结构采用sigmoid函数作为卷积网络的激活函数，保证了特征映射的位移不变性。此外，因为一个映射面上所有神经元共享权值，从而减少网络自由参数的个数。卷积神经网络中的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计算层，这种特有的两次特征提取结构降低了特征分辨率。本专利技术A步骤中的构造卷积神经网络CNN是假设原始图像大小为的彩色图像，利用大小为的Gabor滤波核进行卷积，得到的图像第三维包含64个通道，然后经过一步池化操作输出的深度特征图像。所述池化是在获得卷积图像的特征后，先确定池化区域的大小，然后把卷积特征划分到多个大小为池化区域的不相交区域中，然后用这些区域的最大或平均特征来获取池化后的卷积特征。本专利技术A步骤中的截断相似性测度为：(1)其中、分量表示该本文档来自技高网...

【技术保护点】
一种结合深度特征的双目立体视觉匹配方法，包括匹配代价计算、匹配代价聚合、视差计算、视差图优化步骤，具体包括：A、匹配代价计算：将已校正的双目立体视觉传感器获得的左右两幅图像通过构造卷积神经网络CNN得到其深度特征图，以深度特征为基准计算像素的深度特征截断相似性测度，然后构造组合颜色、梯度和深度特征的截断匹配代价函数，根据立体图像对的视差搜索范围完成所有视差值下的匹配代价计算后得到匹配代价卷；B、匹配代价聚合：对A步骤的匹配代价卷采用固定窗口、多窗口、可变窗口、自适应权重聚合或引导滤波方法代价聚合得到经过匹配代价聚合的代价卷；C、视差计算：将B步骤聚合后得到的经过匹配代价聚合的代价卷采用WTA算法选择最优视差得到初始视差图，然后对初始视差图采用双峰测试BMD、左—右一致性检测LRC、顺序一致性检测ORD或遮挡约束OCC算法寻找遮挡区域，将遮挡区域的遮挡点赋予距离其最近的同行点的视差值后得到视差图；D、视差图优化：对C步骤的视差图使用均值滤波器或双边滤波器对视差图进行滤波，在图像平滑的同时恢复误匹配像素点得到最终视差图。

【技术特征摘要】
1.一种结合深度特征的双目立体视觉匹配方法，包括匹配代价计算、匹配代价聚合、视差计算、视差图优化步骤，具体包括：A、匹配代价计算：将已校正的双目立体视觉传感器获得的左右两幅图像通过构造卷积神经网络CNN得到其深度特征图，以深度特征为基准计算像素的深度特征截断相似性测度，然后构造组合颜色、梯度和深度特征的截断匹配代价函数，根据立体图像对的视差搜索范围完成所有视差值下的匹配代价计算后得到匹配代价卷；B、匹配代价聚合：对A步骤的匹配代价卷采用固定窗口、多窗口、可变窗口、自适应权重聚合或引导滤波方法代价聚合得到经过匹配代价聚合的代价卷；C、视差计算：将B步骤聚合后得到的经过匹配代价聚合的代价卷采用WTA算法选择最优视差得到初始视差图，然后对初始视差图采用双峰测试BMD、左—右一致性检测LRC、顺序一致性检测ORD或遮挡约束OCC算法寻找遮挡区域，将遮挡区域的遮挡点赋予距离其最近的同行点的视差值后得到视差图；D、视差图优化：对C步骤的视差图使用均值滤波器或双边滤波器对视差图进行滤波，在图像平滑的同时恢复误匹配像素点得到最终视差图。2.根据权利要求1所述的结合深度特征的双目立体视觉匹配方法，其特征在于A步骤中的构造卷积神经网络CNN是假设原始图像大小为的彩色图像，利用大小为的Gabor滤波核进行卷积，得到的图像第三维包含64个通道，然后经过一步池化操作输出的深度特征图像。3.根据权利要求2所述的结合深度特征的双目立体视觉匹配方法，其特征在于所述池化是在获得卷积图像的特征后，先确定池化区域的大小，然后把卷积特征划分到多个大小为池化区域的不相交区域中，然后用这些区域的最大或平均特征来获取池化后的卷积特征。4.根据权利要求1或2所述的结合深度特征的双目立体视觉匹配方法，其特征在于A步骤中的截断相似性测度为：(1)其中、分量表示该特征点的二维空间坐标，表示视差值，和分别表示左深度图像、右深度图像，是截断上限；所述构造组合颜色、梯度和深度特征的截断匹配代价函数为：(2)其中表示图像方向的梯度，、分别表示左极线、右极线，、、分别是三个部分的截断上限，、和分别是基于颜色、梯度、深度测...

【专利技术属性】
技术研发人员：张印辉，王杰琼，何自芬，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：云南;53