一种双目视觉图像立体匹配方法组成比例

本发明专利技术一种双目视觉图像立体匹配方法，涉及图像数据处理，步骤是：双目图像的采集与预处理；对双目图像进行图像梯度矩阵求解；得到初始视差图；得到最终视差图像并输出，由此完成双目视觉图像立体匹配。本发明专利技术克服了现有的双目立体匹配技术匹配的精度低和实时性不足的缺陷。

【技术实现步骤摘要】

本专利技术的技术方案涉及图像数据处理，具体地说是一种双目视觉图像立体匹配方法。
技术介绍
立体视觉技术是移动机器人视觉导航领域的关键技术之一，在未知环境中导航，快速和准确地识别障碍物信息，规划出可行路径，要求立体视觉导航系统的立体匹配算法应具有高的准确性和实时性。过去几十年来计算机视觉领域的专家对使用立体图像提取场景三维信息的问题进行了广泛深入的研究，尤其在近年来引起广泛重视的机器人智能化领域，立体视觉在导航、避障和场景感知方面为机器人提供了重要的决策信息。立体匹配算法可以分为局部立体匹配算法和全局立体匹配算法。全局立体匹配算法主要是采用了全局的优化理论方法估计视差，建立全局能量函数得到最优视差值，但是其运行时间比较长，不适合实时运行。局部立体匹配算法通过能量最小化方法进行视差估计，相比全局立体匹配算法，涉及信息量较少，计算复杂度较低，能保证立体匹配的实时性，但受图像放射畸变和辐射畸变影响较大，容易产生误匹配，致使准确度降低。由于局部立体匹配方法受窗口大小与窗口形状以及匹配代价计算方法的约束，所以如何选择合适的窗口以及应用何种匹配代价计算方法是提高匹配精度的关键所在。加拿大安大略理工大学的Veksler教授通过比较不同尺寸窗口的性能，根据不同形状尺寸窗口的适用范围快速准确地得到视差图，但所用窗口的形状数量少，且需要用户指定窗口测量计算的参数。清华大学教授徐光祐根据分割区域动态选择窗口的形状和大小得到了较为稠密的视差图，但对于复杂纹理图像，难以实现精确的色彩分割。韩国光州科学技术院的Kuk-JinYoon团队没有从解决色彩分割入手，而是利用像素间光度学和几何学关系调配窗口中像素的权值，本质上类似于分割的思想，此方法不依赖初始视差估计，同时在深度不连续和连续区域匹配精度都得到了提高，不足之处是其计算复杂度较高。CN103440653A公开了一种双目立体匹配方法，该方法首先对视图组中待匹配点进行基于稠密特征描述的视差先验估计，而后采用汉明间距方法计算视图组中候选匹配点之间的匹配代价，并利用基于最大后验概率模型的视差估计方法来计算视差值，该方法可以有效抑制左右视图光照不同或曝光时间不同对立体匹配的影响，使匹配的准确性得到了提高，但是该方法时间复杂度仍然很高，不具实时性。双目立体匹配一直是计算机立体视觉技术中研究的热点之一，同时也是最困难的环节，现有的双目立体匹配技术的缺陷是主要体现在匹配的精度和实时性的不足。
技术实现思路
本专利技术所要解决的技术问题是：提供一种双目视觉图像立体匹配方法，首先根据设定的窗口大小提取带匹配点的邻域像素点信息，结合梯度信息进行初始匹配，得到初始视差图，再利用改进的Mode滤波器对初始视差图进行滤波得到最终视差图。本专利技术克服了现有的双目立体匹配技术匹配的精度低和实时性不足的缺陷。本专利技术解决该技术问题所采用的技术方案是：一种双目视觉图像立体匹配方法，步骤如下：第一步，双目图像的采集与预处理：双目图像的采集方法是通过两个在物理位置上相对平行的摄像头进行左右视图的提取；预处理的方法是，将提取的双目图像归一化为384×288像素，然后根据摄像头的标定参数对左右视图进行校正，消除畸变以及行对准，使得左右视图的成像原点坐标一致，对校正完的左右图像进行初始参数的设置，将左右两幅图像分别设置为匹配图像L和待匹配图像R，并设置最大视差值dmax，具体方法是：(1)图像分块：对于输入的匹配图像L和待匹配图像R设置初始的视差范围和分割阈值，将输入的图像分别分成大小均匀的Q1×Q2个子块；(2)图像块匹配代价聚类：采用平方差和算法的代价聚集策略聚集窗口内的匹配代价，首先对上述步骤(1)中各个图像子块内的像素在初始视差范围内进行匹配代价求解，求解方法如公式(1)所示，其中，Fx,y(o)为匹配代价函数，o为偏移距离，表示当前视差，o的初始范围为[0,100]，R(x,y,z)、L(x,y,z)是待匹配图像R以及匹配图像L在点(x,y,z)处的像素值，Fx,y(o)=Σz=13[R(x,y,z)-L(x+o,y,z)]2---(1),]]>之后，对偏移距离为o时的图像子块q内各像素匹配代价进行求平均，并作为偏移距离为o时的图像子块q的匹配代价，如公式(2)所示，γ(x,y,o)=1NcNrΣ(x,y)∈qFx,y(o)---(2),]]>这里γ(x,y,o)是偏移距离为o的图像块的匹配代价，Nc、Nr分别为图像块的宽度和高度，以像素为单位；将偏移距离o从0到100遍历，重复上述步骤(2)，记录下每个视差值下的γ(x,y,o)，直到对所有的子块完成上述计算；(3)选取视差值范围：统计每个子块在不同偏移距离下的匹配代价，将其称作图像块的匹配代价图，若匹配代价图存在唯一的显著的最小值，则认为该子块可靠，选择匹配代价最小的偏移距离o作为子块的视差值d，否则认为该子块不可靠，进一步将该子块细分为Q1×Q2个子块，重复上述步骤(2)，选择被细分的子块与这些细分后的子块中视差值最相近的局部极小值点作为被细分的子块的视差，依照上述方法判断全部的子块，并判断当前子块的视差值是否全部相等或者子块的尺寸是否达到设定的分隔阈值，若是，则返回这些当前子块的视差值作为双目图像的最大视差值dmax，否则，将最大视差值所在的子块继续细分为Q1×Q2个子块，初始偏移距离范围减半，重复上述步骤(2)的计算过程，直到当前子块的视差值全部相等或者子块的尺寸达到设定的阈值，由此完成设置最大视差值dmax；第二步，对双目图像进行图像梯度矩阵求解：对上述第一步采集与预处理后的双目图像进行图像梯度矩阵求解，过程是：根据下述公式(3)、(4)和(5)分别求出待匹配图像R在x、y、z轴三方向的梯度矩阵Drx、Dry、Drz，x轴为待匹配图像R的横坐标轴，y轴为待匹配图像R的纵坐标轴，z轴为待匹配图像R的RGB通道的坐标轴，以下公式(3)、(4)和(5)中，R(i,j,k)代表待匹配图像R在点(i,j,k)处的像素值，其中，i、j、k分别代表点(i,j,k)对应于x、y、z坐标轴的坐标值，a、b分别代表匹配图像R在x、y坐标轴方向的最大下标值，k＝1,2,3，分别表示RGB通道的红色、绿色和蓝色通道，Drz=R(i,j,k+1)-R(i,j,k)k=1(R(i,j,k+1)-R(i,j,k-1))/2k=2R(i,j,k-1)-R(i,j,k)k=3---(5),]]>同理，根据以下公式(6)、(7)、(本文档来自技高网...

【技术保护点】
一种双目视觉图像立体匹配方法，其特征在于步骤如下：第一步，双目图像的采集与预处理：双目图像的采集方法是通过两个在物理位置上相对平行的摄像头进行左右视图的提取；预处理的方法是，将提取的双目图像归一化为384×288像素，然后根据摄像头的标定参数对左右视图进行校正，消除畸变以及行对准，使得左右视图的成像原点坐标一致，对校正完的左右图像进行初始参数的设置，将左右两幅图像分别设置为匹配图像L和待匹配图像R，并设置最大视差值dmax，具体方法是：(1)图像分块：对于输入的匹配图像L和待匹配图像R设置初始的视差范围和分割阈值，将输入的图像分别分成大小均匀的Q1×Q2个子块；(2)图像块匹配代价聚类：采用平方差和算法的代价聚集策略聚集窗口内的匹配代价，首先对上述步骤(1)中各个图像子块内的像素在初始视差范围内进行匹配代价求解，求解方法如公式(1)所示，其中，Fx,y(o)为匹配代价函数，o为偏移距离，表示当前视差，o的初始范围为[0,100]，R(x,y,z)、L(x,y,z)是待匹配图像R以及匹配图像L在点(x,y,z)处的像素值，Fx,y(o)=Σz=13[R(x,y,z)-L(x+o,y,z)]2---(1),]]>之后，对偏移距离为o时的图像子块q内各像素匹配代价进行求平均，并作为偏移距离为o时的图像子块q的匹配代价，如公式(2)所示，γ(x,y,o)=1NcNrΣ(x,y)∈qFx,y(o)---(2),]]>这里γ(x,y,o)是偏移距离为o的图像块的匹配代价，Nc、Nr分别为图像块的宽度和高度，以像素为单位；将偏移距离o从0到100遍历，重复上述步骤(2)，记录下每个视差值下的γ(x,y,o)，直到对所有的子块完成上述计算；(3)选取视差值范围：统计每个子块在不同偏移距离下的匹配代价，将其称作图像块的匹配代价图，若匹配代价图存在唯一的显著的最小值，则认为该子块可靠，选择匹配代价最小的偏移距离o作为子块的视差值d，否则认为该子块不可靠，进一步将该子块细分为Q1×Q2个子块，重复上述步骤(2)，选择被细分的子块与这些细分后的子块中视差值最相近的局部极小值点作为被细分的子块的视差，依照上述方法判断全部的子块，并判断当前子块的视差值是否全部相等或者子块的尺寸是否达到设定的分隔阈值，若是，则返回这些当前子块的视差值作为双目图像的最大视差值dmax，否则，将最大视差值所在的子块继续细分为Q1×Q2个子块，初始偏移距离范围减半，重复上述步骤(2)的计算过程，直到当前子块的视差值全部相等或者子块的尺寸达到设定的阈值，由此完成设置最大视差值dmax；第二步，对双目图像进行图像梯度矩阵求解：对上述第一步采集与预处理后的双目图像进行图像梯度矩阵求解，过程是：根据下述公式(3)、(4)和(5)分别求出待匹配图像R在x、y、z轴三方向的梯度矩阵Drx、Dry、Drz，x轴为待匹配图像R的横坐标轴，y轴为待匹配图像R的纵坐标轴，z轴为待匹配图像R的RGB通道的坐标轴,以下公式(3)、(4)和(5)中，R(i,j,k)代表待匹配图像R在点(i,j,k)处的像素值，其中，i、j、k分别代表点(i,j,k)对应于x、y、z坐标轴的坐标值，a、b分别代表匹配图像R在x、y坐标轴方向的最大下标值，k＝1,2,3，分别表示RGB通道的红色、绿色和蓝色通道，Drz=R(i,j,k+1)-R(i,j,k)k=1(R(i,j,k+1)-R(i,j,k-1))/2k=2R(i,j,k-1)-R(i,j,k)k=3---(5),]]>同理，根据以下公式(6)、(7)、(8)求出匹配图像L在x、y、z轴三方向的梯度矩阵Dlx、Dly、Dlz，L(i,j,k)代表匹配图像L在点(i,j,k)处的像素值，Dlz=L(i,j,k+1)-L(i,j,k)k=1(L(i,j,k+1)-L(i,j,k-1))/2k=2L(i,j,k-1)-L(i,j,k)k=3---(8);]]>第三步，得到初始视差图：视差图是双目图像的视差值的图像，初始视差图的生成方法如下：(1)计算匹配代价：1)计算像素值匹配代价：根据上述第一步中得到的匹配图像L和待匹配图像R，计算对应图像中的每个像素对在z轴方向的平方差的和以消去z轴的位置信息，再用消去z轴位置信息的矩阵中点(x,y)在n×n邻域中的平均值作为像素值匹配代价S(x,y,d)，采用的计算公式(9)如下：S(x,y,d)=Σi=-(n-1)/2(n-1)/2Σj=-(n-1)/2(n-1)/21n2Σk=13[R(x+i,y+j,k)-L(x+i,y+j+d,k)]2---(9),]]>其中，d为匹配点与待匹配点在y轴坐标的差...

【技术特征摘要】
1.一种双目视觉图像立体匹配方法，其特征在于步骤如下：
第一步，双目图像的采集与预处理：
双目图像的采集方法是通过两个在物理位置上相对平行的摄像头进行左右视图的提
取；预处理的方法是，将提取的双目图像归一化为384×288像素，然后根据摄像头的标
定参数对左右视图进行校正，消除畸变以及行对准，使得左右视图的成像原点坐标一致，
对校正完的左右图像进行初始参数的设置，将左右两幅图像分别设置为匹配图像L和待
匹配图像R，并设置最大视差值dmax，具体方法是：
(1)图像分块：
对于输入的匹配图像L和待匹配图像R设置初始的视差范围和分割阈值，将输入的
图像分别分成大小均匀的Q1×Q2个子块；
(2)图像块匹配代价聚类：
采用平方差和算法的代价聚集策略聚集窗口内的匹配代价，首先对上述步骤(1)中
各个图像子块内的像素在初始视差范围内进行匹配代价求解，求解方法如公式(1)所示，
其中，Fx,y(o)为匹配代价函数，o为偏移距离，表示当前视差，o的初始范围为[0,100]，
R(x,y,z)、L(x,y,z)是待匹配图像R以及匹配图像L在点(x,y,z)处的像素值，
Fx,y(o)=Σz=13[R(x,y,z)-L(x+o,y,z)]2---(1),]]>之后，对偏移距离为o时的图像子块q内各像素匹配代价进行求平均，并作为偏移距
离为o时的图像子块q的匹配代价，如公式(2)所示，
γ(x,y,o)=1NcNrΣ(x,y)∈qFx,y(o)---(2),]]>这里γ(x,y,o)是偏移距离为o的图像块的匹配代价，Nc、Nr分别为图像块的宽度和
高度，以像素为单位；将偏移距离o从0到100遍历，重复上述步骤(2)，记录下每个视
差值下的γ(x,y,o)，直到对所有的子块完成上述计算；
(3)选取视差值范围：
统计每个子块在不同偏移距离下的匹配代价，将其称作图像块的匹配代价图，若匹配
代价图存在唯一的显著的最小值，则认为该子块可靠，选择匹配代价最小的偏移距离o
作为子块的视差值d，否则认为该子块不可靠，进一步将该子块细分为Q1×Q2个子块，
重复上述步骤(2)，选择被细分的子块与这些细分后的子块中视差值最相近的局部极小值
点作为被细分的子块的视差，依照上述方法判断全部的子块，并判断当前子块的视差值是
否全部相等或者子块的尺寸是否达到设定的分隔阈值，若是，则返回这些当前子块的视差
值作为双目图像的最大视差值dmax，否则，将最大视差值所在的子块继续细分为Q1×Q2个
子块，初始偏移距离范围减半，重复上述步骤(2)的计算过程，直到当前子块的视差值

\t全部相等或者子块的尺寸达到设定的阈值，由此完成设置最大视差值dmax；
第二步，对双目图像进行图像梯度矩阵求解：
对上述第一步采集与预处理后的双目图像进行图像梯度矩阵求解，过程是：根据下述
公式(3)、(4)和(5)分别求出待匹配图像R在x、y、z轴三方向的梯度矩阵Drx、Dry、Drz，
x轴为待匹配图像R的横坐标轴，y轴为待匹配图像R的纵坐标轴，z轴为待匹配图像R
的RGB通道的坐标轴,以下公式(3)、(4)和(5)中，R(i,j,k)代表待匹配图像R在点(i,j,k)处
的像素值，其中，i、j、k分别代表点(i,j,k)对应于x、y、z坐标轴的坐标值，a、b分别
代表匹配图像R在x、y坐标轴方向的最大下标值，k＝1,2,3，分别表示RGB通道的红色、
绿色和蓝色通道，
Drz=R(i,j,k+1)-R(i,j,k)k=1(R(i,j,k+1)-R(i,j,k-1))/2k=2R(i,j,k-1)-R(i,j,k)k=3---(5),]]>同理，根据以下公式(6)、(7)、(8)求出匹配图像L在x、y、z轴三方向的梯度矩阵Dlx、
Dly、Dlz，L(i,j,k)代表匹配图像L在点(i,j,k)处的像素值，
Dlz=L(i,j,k+1)-L(i,j,k)k=1(L(i,j,k+1)-L(i,j,k-1))/2k=2L(i,j,k-1)-L(i,j,k)k=3---(8);]]>第三步，得到初始视差图：
视差图是双目图像的视差值的图像，初始视差图的生成方法如下：
(1)计算匹配代价：
1)计算像素值匹配代价：
根据上述第一步中得到的匹配图像L和待匹配图像R，计算对应图像中的每个像素对
在z轴方向的平方差的和以消去z轴的位置信息，再用消去z轴位置信息的矩阵中点(x,y)

\t在n×n邻域中的平均值作为像素值匹配代价S(x,y,d)，采用的计算公式(9)如下：
S(x,y,d)=Σi=-(n-1)/2(n-1)/2Σ...

【专利技术属性】
技术研发人员：于明，师硕，于洋，郭迎春，刘依，阎刚，王佳希，
申请(专利权)人：河北工业大学，
类型：发明
国别省市：天津;12