一种基于卷积神经网络的双目立体匹配方法组成比例

本发明专利技术公开了一种基于卷积神经网络的双目立体匹配方法。本发明专利技术首先采用了两个卷积神经子网络对待匹配图像小块进行特征提取，通过卷积神经网络的自动学习能力，能够自动提取出健壮、多样的特征，避免了传统立体匹配方法的复杂的特征选择和人工抽取特征的过程。然后将它们的输出特征进行级联送入到全连接层进行匹配代价计算，获得了比传统立体匹配方法更好的匹配代价，结合视差的后处理方法，可有效获得高精度的视差图，并具有较好的实时性。

【技术实现步骤摘要】

本专利技术涉及双目立体视觉图像处理
，尤其涉及一种采用卷积神经网络的双目立体匹配方法。
技术介绍
自上世纪80年代初，Marr创立了视觉计算理论框架以来，双目立体视觉技术一直是机器视觉领域的一个研究热点，在航空测绘、医学成像、虚拟现实和工业检测等领域得到了广泛的研究。双目立体视觉是基于视差原理并利用成像设备从不同位置获得被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体的三维几何信息的方法。双目立体视觉算法主要包括图像获取、摄像机标定、图像校正、立体匹配和三维重建等五个部分。其中立体匹配是整个算法的核心部分，匹配产生的视差图的优劣直接影响到三维重建的效果。目前，传统的立体匹配的方法主要分为三大类：基于特征的匹配算法、基于局部的匹配算法和基于全局的匹配算法。基于特征的匹配算法得到的是稀疏的视差图，要得到致密的视差图，必须通过插值得到。基于局部的匹配算法运算速度快，但在低纹理和深度不连续区域匹配效果差。基于全局的匹配算法能够得到较高精度的匹配结果，但计算速度慢。
技术实现思路
为了获得高精度的致密视差图和较好的实时性，本专利技术提供了一种基于卷积神经网络的双目立体匹配方法。本专利技术的目的是通过以下技术方案来实现的：一种基于卷积神经网络的双目立体匹配方法，包括以下步骤：(1)图像预处理。对带有参考视差图的立体图像对的左图和右图分别做Z-score标准化处理。(2)构造训练实例。从预处理后的左图选取中心在p＝(x,y)、大小为n×n的一小块图像从预处理后的右图选取中心在q＝(x-d,y)、大小为n×n的一小块图像和构成一个训练实例：对于左图每个知道参考视差值d的位置，抽取一个正确的训练实例和一个错误的训练实例。为了获得一个正确的训练实例，将右小块图像的中心设置在：q＝(x-d+opos,y)其中opos在[-dataset_pos,dataset_pos]中随机取值，dataset_pos为正整数。为了获得一个错误的训练实例，将右小块图像的中心设置在：q＝(x-d+oneg,y)其中oneg在[-dataset_neg_low,-dataset_neg_high]或[dataset_neg_low,dataset_neg_high]中随机取值。dataset_neg_low和dataset_neg_high均为正整数。(3)构造用于计算匹配代价的卷积神经网络结构。首先构造两个完全一样的子网络，每个子网络由两个卷积层和一个全连接层，每层后面跟随一个ReLU层。然后将两个子网络的输出级联起来，接两个全连接层，每层后面接一个ReLU层，最后一个全连接层跟随一个sigmoid转移函数。对于每一个输入网络的输出表示为(4)训练网络。根据步骤(2)，每次构造N/2个正确的训练实例和N/2个错误的训练实例，将其用于步骤(3)构造的网络进行有监督的反向传播算法训练，得到训练网络，N为训练集个数。(5)求视差图。从测试集中取一组立体图像对，进行步骤(1)的预处理。运用步骤(4)训练出来的网络，对于左图中每一个位置p＝(x,y)，计算其与右图在位置q＝(x-d,y)的匹配代价CCNN(p,d)，其中d∈(0,DISP_MAX)(DISP_MAX表示可能的最大视差值)，得到：对于左图中的每一个位置p＝(x,y)，上式中的匹配代价取最小时的位置d即为所求视差D(p)： D ( p ) = arg min d C C N N ( p , d ) ]]>(6)对视差图进行后处理。具体包括以下子步骤：(6.1)亚像素视差。根据步骤(5)求出的匹配代价构造一条二次曲线，取极值点得到亚像素视差图DSE(p)： D S E ( p ) = d - C + - C - 2 ( C + - 2 C + C - ) , ]]>其中d＝D(p)，C-＝CCNN(p,d-1)，C＝CCNN(p,d)，C+＝CCNN(p,d+1)；(6.2)对亚像素视差图DSE(p)进行中值滤波和双线性滤波，得到最终的视差图Dfinal(p)。进一步地，所述步骤1中，所述Z-score标准化处理过程具体如下：计算图像X中所有像素值的均值xaverage和标准差σ： x a v e r a g e = 1 W × H Σ ( i , j ) ∈ W × H x ( i , j ) ]]> σ = 1 W × H Σ ( i , j ) ∈ W × H ( x ( i , 本文档来自技高网...

【技术保护点】
一种基于卷积神经网络的双目立体匹配方法，其特征在于，包括以下步骤：(1)图像预处理。对带有参考视差图的立体图像对的左图和右图分别做Z‑score标准化处理。(2)构造训练实例。从预处理后的左图选取中心在p＝(x,y)、大小为n×n的一小块图像从预处理后的右图选取中心在q＝(x‑d,y)、大小为n×n的一小块图像和构成一个训练实例：对于左图每个知道参考视差值d的位置，抽取一个正确的训练实例和一个错误的训练实例。为了获得一个正确的训练实例，将右小块图像的中心设置在：q＝(x‑d+opos,y)其中opos在[‑dataset_pos,dataset_pos]中随机取值，dataset_pos为正整数。为了获得一个错误的训练实例，将右小块图像的中心设置在：q＝(x‑d+oneg,y)其中oneg在[‑dataset_neg_low,‑dataset_neg_high]或[dataset_neg_low,dataset_neg_high]中随机取值。dataset_neg_low和dataset_neg_high均为正整数。(3)构造用于计算匹配代价的卷积神经网络结构。首先构造两个完全一样的子网络，每个子网络由两个卷积层和一个全连接层，每层后面跟随一个ReLU层。然后将两个子网络的输出级联起来，接两个全连接层，每层后面接一个ReLU层，最后一个全连接层跟随一个sigmoid转移函数。对于每一个输入网络的输出表示为(4)训练网络。根据步骤(2)，每次构造N/2个正确的训练实例和N/2个错误的训练实例，将其用于步骤(3)构造的网络进行有监督的反向传播算法训练，得到训练网络，N为训练集个数。(5)求视差图。从测试集中取一组立体图像对，进行步骤(1)的预处理。运用步骤(4)训练出来的网络，对于左图中每一个位置p＝(x,y)，计算其与右图在位置q＝(x‑d,y)的匹配代价CCNN(p,d)，其中d∈(0,DISP_MAX)(DISP_MAX表示可能的最大视差值)，得到：对于左图中的每一个位置p＝(x,y)，上式中的匹配代价取最小时的位置d即为所求视差D(p)：D(p)=argmindCCNN(p,d)]]>(6)对视差图进行后处理。具体包括以下子步骤：(6.1)亚像素视差。根据步骤(5)求出的匹配代价构造一条二次曲线，取极值点得到亚像素视差图DSE(p)：DSE(p)=d-C+-C-2(C+-2C+C-),]]>其中d＝D(p)，C_＝CCNN(p,d‑1)，C＝CCNN(p,d)，C+＝CCNN(p,d+1)；(6.2)对亚像素视差图DSE(p)进行中值滤波和双线性滤波，得到最终的视差图Dfinal(p)。...

【技术特征摘要】
1.一种基于卷积神经网络的双目立体匹配方法，其特征在于，包括以下步骤：(1)图像预处理。对带有参考视差图的立体图像对的左图和右图分别做Z-score标准化处理。(2)构造训练实例。从预处理后的左图选取中心在p＝(x,y)、大小为n×n的一小块图像从预处理后的右图选取中心在q＝(x-d,y)、大小为n×n的一小块图像和构成一个训练实例：对于左图每个知道参考视差值d的位置，抽取一个正确的训练实例和一个错误的训练实例。为了获得一个正确的训练实例，将右小块图像的中心设置在：q＝(x-d+opos,y)其中opos在[-dataset_pos,dataset_pos]中随机取值，dataset_pos为正整数。为了获得一个错误的训练实例，将右小块图像的中心设置在：q＝(x-d+oneg,y)其中oneg在[-dataset_neg_low,-dataset_neg_high]或[dataset_neg_low,dataset_neg_high]中随机取值。dataset_neg_low和dataset_neg_high均为正整数。(3)构造用于计算匹配代价的卷积神经网络结构。首先构造两个完全一样的子网络，每个子网络由两个卷积层和一个全连接层，每层后面跟随一个ReLU层。然后将两个子网络的输出级联起来，接两个全连接层，每层后面接一个ReLU层，最后一个全连接层跟随一个sigmoid转移函数。对于每一个输入网络的输出表示为(4)训练网络。根据步骤(2)，每次构造N/2个正确的训练实例和N/2个错误的训练实例，将其用于步骤(3)构造的网络进行有监督的反向传播算法训练，得到训练网络，N为训练集个数。(5)求视差图。从测试集中取一组立体图像对，进行步骤(1)的预处理。运用步骤(4)训练出来的网络，对于左图中每一个位置p＝(x,y)，计算其与右图在位置q＝(x-d,y)的匹配代价CCNN(p,d)，其中d∈(0,DISP_MAX)(DISP_MAX表示可能的最大视差值)，得到：对于左图中的每一个位置p＝(x,y)，上式中的匹配代价取最小时的位置d即为所求视差D(p)： D ( p ) = arg m i n d C C N N ( p , d ) ]]>(6)对视差图进行后处理。具体包括以下子步骤：(6.1)亚像素视差。根据步骤(5)求出的匹配代价构造一条二次曲线，取极值点得到亚像素视差图DSE(p)： D S E ( p ) = d - C + - C - 2 ( C + - 2 C + C - ) , ]]>其中d＝D(p)，C_＝CCNN(p,d-1)，C＝CCNN(p,d)，C+＝CCNN(p,d+1)；(6.2)对亚像素视差图DSE(p)进行中值滤波和双线性滤波，得到最终的视差图Dfinal(p)。2.根据权利要求1所述的一种基于卷积神经网络的双目立体匹配方法，其特征在于，所述步骤1中，所述Z-score标准化处理过程具体如下：计算图像X中所有像素值的均值xaverage和标准差σ： x a v e r a g e = 1 W × H Σ ( i ...

【专利技术属性】
技术研发人员：刘云海，白鹏，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33