一种计算机视觉的立体匹配算法制造技术

本发明专利技术公开了一种计算机视觉的立体匹配算法，基于全连接神经网络和边缘感知视差传播（Edge‑aware Disparity Propagation,EDP）实现，其包括步骤：首先，通过全连接神经网络计算输入立体图像对的初始匹配代价，并利用WTA算法找出对应的视差值，生成初始视差图；然后，进行一致性检测，并采用EDP算法和测地距滤波重构视差不一致区域的匹配代价，获得不一致区域的新的视差值，并将其填充到孔洞视差图中，获得完整的视差图；最后，经过亚像素增强优化生成最终的视差图。实验数值表明，应用本发明专利技术该算法能有效降低立体匹配的误匹配率，提高视差图精度，特别是在非闭塞区域有较低的误匹配率。

【技术实现步骤摘要】
一种计算机视觉的立体匹配算法
本专利技术涉及一种基于全连接神经网络和边缘感知视差传播的立体匹配算法，属于计算机视觉的双目立体视觉领域。
技术介绍
近年来，立体视觉研究作为计算机视觉最主要的一个分支，应用于众多热门研究领域，如机器人导航、汽车自动驾驶、医学图像诊断与辅助手术等。立体视觉主要分为4个步骤：图像获取、立体校正、立体匹配和三维重建。其中立体匹配是最重要也是最困难的一个环节。传统的立体匹配算法一般包括以下四个步骤：构造匹配代价、代价聚合、视差值计算、视差图优化。立体匹配算法主要划分为局部匹配算法和全局匹配算法两类：局部匹配算法是通过在一个小的邻域窗口内计算像素的匹配代价，经过代价聚合，最小化代价函数后获得视差值，该方法计算复杂度低，适用于实时的立体匹配任务，但其视差结果受窗口尺寸大小影响较大，精度较低；而全局匹配算法则通过最小化全局能量函数，同时优化所有像素视差值，一般精度较高，但计算复杂度高，适用于精度要求较高的立体匹配任务，图割法，置信传播算法，动态规划等都是常见的高效的全局立体匹配算法。显然，以上两种方法都是通过优化代价函数的方法来计算最优视差。2014年，K.Zhang等人实现了局部立体匹配方法的程序框架，并提出多尺度代价聚合方法。随着深度学习的发展，2015年，N.Mayer提出将卷积神经网络应用于立体匹配任务，并为其命名为DispNet,同年LeCun等提出了一种基于卷积神经网络进行匹配代价计算的网络结构。这种利用神经网络对立体匹配问题进行建模，以图像为输入，从而避免了人为设计特征，构造代价函数的工作量，在有效提高精度的同时，大大缩短了运算时间，提高了运算效率。但其同时也存在需要大量数据进行训练来提高进度等缺点。受场景中光照变化、噪声等问题的影响，几乎所有算法生成的初始视差图都会引入错误的视差值，尤其在视差不连续区域、弱纹理区域、遮挡区域更容易发生误匹配。神经网络中的卷积层和全连接层在进行特征采集和映射时也会丢失部分图像边缘信息。如何既能保持基于神经网络匹配算法的高精度和高计算速度，同时有效提高匹配精度，保留图像边缘信息。本专利技术提出了基于全卷积神经网络和边缘感知视差传播(Edge-awareDisparityPropagation,EDP)的立体匹配算法，利用全连接神经网络提取每个像素点的匹配代价，由“胜者为王(WinnerTakesAll,WTA)”策略获得初始视差图，再通过EDP算法对一致性检测中的不一致视差进行填充，最后进行亚像素增强和视差图平滑生成结果视差图。该算法既避免了人为设计匹配代价的局限性，同时在运算效率和视差图精度方面有着显著提升，并且能有效保存图像的边缘信息，降低误匹配率。
技术实现思路
本专利技术所要解决的技术问题在于克服现有技术的不足，提供一种计算机视觉的立体匹配算法，解决现有双目立体匹配方法中存在的视差精度较低，噪声干扰较大等问题。本专利技术实现上述目的的技术解决方案为：一种计算机视觉的立体匹配算法，其特征在于包括以下步骤：步骤1、通过全连接神经网络计算输入立体图像对的初始匹配代价，并利用“胜者为王”策略找出对应的视差值，生成初始视差图；步骤2、对初始视差图进行一致性检测、作双向匹配、滤除不一致视差点，得到孔洞视差图；然后采用EDP算法重构非平稳像素点匹配代价，最后通过WTA算法计算得到非平稳像素视差值并填充到孔洞视差图中，得到完整的结果视差图；步骤3、采用亚像素增强、双边滤波和中值滤波对结果视差图进行优化，滤除噪声点，得到最终视差图。进一步地，作为本专利技术的一种优选技术方案：步骤1前还包括构造正负样本数据集对训练样本数据扩充。进一步地，作为本专利技术的一种优选技术方案：步骤1中全连接神经网络结构包含L1到L8共8层，其中L1层为卷积层，由32个大小为5x5x1的卷积核构成，L2-L7层都为全连接网络层。进一步地，作为本专利技术的一种优选技术方案：步骤2中对一致性检测后的非平稳像素通过EDP算法和测地距视差传播进行重构。本专利技术所提出的基于全连接神经网络和边缘感知视差传播相结合的立体匹配算法，较之于传统算法具备突出的实质性特点和显著的进步性，概括来看：通过全连接神经网络求得初始的匹配代价，经过一致性检测滤除视差不一致的点，然后采用EDP算法和测地距滤波重构不一致像素点的匹配代价并求取最优视差值。最后，将重构得到的新的视差值填充至对应的不一致视差点，获得最终的视差图。该算法计算复杂度小，且利用了EDP算法保留边缘信息的特点，能有效降低立体匹配的误匹配率，提高视差图精度，尤其在边缘地区匹配效果更佳。附图说明图1为本专利技术基于全连接神经网络和边缘感知视差传播的立体匹配算法原理示意图。图2为本专利技术利用的全连接神经网络的网络结构示意图。具体实施方式以下便结合实施例附图，对本专利技术的具体实施方式作进一步的详述，以使本专利技术技术方案更易于理解、掌握，从而对本专利技术的保护范围做出更为清晰的界定和支持。如图1所示，本专利技术将计算匹配代价看作是一个有监督学习过程，通过训练一个全连接神经网络模型来计算初始匹配代价，并采用WTA策略生成初始视差图。本方法具体包括以下步骤：构造训练数据集：对训练数据集中的立体图像对进行处理，构造训练样本。每个训练样本包含两个部分，即左右图像块，左图像块为左图中一个11x11大小，像素中心为p＝(x,y)的图像块。在视差值d已知的情况下，我们为图像中的每个像素点都构造了一个正样本和一个负样本。Oneg为一个负样本偏移量，随机从集合{-Nhi,...,-Nlo}和{Nlo,...,Nhi}中选取。Nlo,Nhi都属于网络的超参数。建立基于全连接神经网络的框架结构，整个网络结构包含8层，L1到L8层。L1层为卷积层，由32个大小为5x5x1的卷积核构成，L2～L7层都为全连接网络层，L2和L3层由200个神经元构成，L3层输出之后，将左右分支分别产生的200维特征向量连接为一个400维的特征向量，传递到后面的全连接层。L4至L7都是由300神经元构成的全连接层，最终层L8层由一个softmax函数映射为一个2维的匹配概率分布S。层的左右分支参数完全相同。除去层，每一层之后都包含一个线性整流单元(RectifiedLinearUnit,ReLU)。对前述全连接神经网络的输出结果S取反作为初始匹配代价值，输出的score越高，代价越小。同时对得到的初始匹配代价，采用“胜者为王”(WTA)策略，即一个像素在允许的视差范围内，其最小匹配代价对应的视差值即为该像素点的视差值，求得初始视差图。采用边缘感知与视差传播算法对前述产生的初始视差图进行优化。基于EDP算法的边缘感知：算法对像素周围平稳像素点运用匹配概率最大的3个视差值重新构造匹配代价，其计算公式如下：其中，C(m,d)new为重构后的匹配代价，d为平稳像素点的视差，di为前面WTA除平稳像素视差外i个代价量最小的视差值。R(m,d)为惩罚函数，c、t为惩罚系数。如果3个最有可能的视差值，又称视差子集，与初始视差值相差较大，则惩罚函数值较大，即说明初始视差有较大概率是错误的。通过EDP算法可以得到平稳区域的匹配代价，但无法直接重构出非平稳区域的匹配代价，故采用滤波的方法进行视差传播，得到非平稳像素的匹配代价。基于测地距滤波的视差传播：本文档来自技高网...

【技术保护点】
1.一种计算机视觉的立体匹配算法，其特征在于包括以下步骤：步骤1、通过全连接神经网络计算输入立体图像对的初始匹配代价，并利用“胜者为王”策略找出对应的视差值，生成初始视差图；步骤2、对初始视差图进行一致性检测、作双向匹配、滤除不一致视差点，得到孔洞视差图；然后采用EDP算法重构非平稳像素点匹配代价，最后通过WTA算法计算得到非平稳像素视差值并填充到孔洞视差图中，得到完整的结果视差图；步骤3、采用亚像素增强、双边滤波和中值滤波对结果视差图进行优化，滤除噪声点，得到最终视差图。

【技术特征摘要】
1.一种计算机视觉的立体匹配算法，其特征在于包括以下步骤：步骤1、通过全连接神经网络计算输入立体图像对的初始匹配代价，并利用“胜者为王”策略找出对应的视差值，生成初始视差图；步骤2、对初始视差图进行一致性检测、作双向匹配、滤除不一致视差点，得到孔洞视差图；然后采用EDP算法重构非平稳像素点匹配代价，最后通过WTA算法计算得到非平稳像素视差值并填充到孔洞视差图中，得到完整的结果视差图；步骤3、采用亚像素增强、双边滤波和中值滤波对结果视差图进行优化，滤除噪声点...

【专利技术属性】
技术研发人员：霍智勇，严邓涛，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32