一种基于双目图像匹配获取目标深度信息的方法和系统技术方案

本发明专利技术公开了一种基于双目图像匹配获取目标深度信息的方法和系统，本发明专利技术可以减小图像噪声、灰度信息变化、光照变化带来的不利影响；将基于像素的匹配转换为基于超像素的匹配，降低了计算量减少了计算时间；另外使用自适应重启随机步算法进行优化得到了全局最优匹配的结果，并且内部对物体边缘的检测处理使得边缘深度信息更加精确。

【技术实现步骤摘要】
一种基于双目图像匹配获取目标深度信息的方法和系统
本专利技术属于计算机视觉领域，具体涉及一种基于双目图像匹配获取目标深度信息的方法和系统。
技术介绍
双目图像匹配一直是计算机视觉领域的一个中心研究问题。其基本原理是从两个视点观察同一景物以获取立体像对，匹配出相应像点，从而计算出视差并获得深度信息。常用的匹配方法可以分为区域匹配方法和全局匹配方法。区域匹配方法基本原理是给定在一幅图像上的某一点，选取该像素点邻域内的子窗口，在另一幅图像中的一个区域内，根据某种相似性判断依据，寻找与子窗口图像最为相似的子图，而其匹配的子图中对应的像素点就为该像素的匹配点，这类算法不适应于深度变化剧烈的场景，对光照和噪声比较敏感；全局匹配方法主要是采用了全局的优化理论方法估计视差，建立全局能量函数，通过最小化全局能量函数得到最优视差值，这类方法得到的结果比较准确，但是其运行时间比较长。
技术实现思路
本专利技术的目的在于提供一种基于双目图像匹配获取目标深度信息的方法，旨在解决现有方法受光照变化、噪声的影响，边缘深度信息测量不准确，运行时间长的问题。为了达到上述目的，本专利技术采用如下技术方案：一种基于双目图像匹配获取目标深度信息的方法，该方法包括：(1)获取双目图像左图和右图两张图像，如果图像为彩色图则转为灰度图，对灰度图进行高斯滤波处理；(2)求取双目图像的局部代价信息，包括横向和纵向的梯度代价信息、左右图像中每个像素点的Hamming距离代价信息，然后对局部代价信息进行加权相加处理；(3)对左右图像进行基于SLIC算法的超像素分割，获得超像素分割信息；(4)基于以上获得的双目图像的局部代价信息和超像素分割信息，对每个超像素内的局部代价信息相加然后求均值获得基于超像素的代价信息；(5)将基于超像素的代价信息输入到自适应重启随机步算法中，进行迭代优化，获得优化后的基于超像素的代价信息；(6)将优化后的基于超像素的代价信息和上述步骤(2)中的局部代价信息进行加权相加，获取最小代价对应的视差值，根据视差值与深度的比例关系获得深度值；上述步骤(5)中获得优化后的基于超像素的代价信息具体步骤是：1)设置迭代次数T，求归一化权重矩阵，其中，wij表示超像素si和sj之间的权重，De表示超像素si和sj之间的欧氏距离，De＝αe×sqrt((xsi-xsj)2+(ysi-ysj)2)，τe、σe、αe为设置的比例系数，I(si)和I(sj)表示超像素si和sj和平均灰度值，xsiysixsjysj分别表示超像素si和sj的中心X和Y方向的坐标；将wij组成的矩阵按行进行归一化获得归一化权重矩阵2)进行左右一致性检测，确认超像素s是否为遮挡点，用Ot(s)来表示，若是遮挡点Ot(s)值为0，若不是遮挡点值为1，然后将所有超像素的遮挡情况放入矩阵vt中，则vt＝[Ot(s)]k×1，k为超像素个数，⊙表示元素对应相乘，是存储所有超像素视差为d时基于超像素的匹配代价；3)基于Canny边缘的保真度处理，di′表示超像素si平均视差值，N(i)表示和超像素si相邻的所有超像素，这里的相邻不仅要求图像上相邻还要求这两个超像素之间不同时存在Canny边缘和SLIC分割边缘，为超像素sj最优视差，Ot(sj)表示超像素sj的遮挡情况，τΨ为阈值参数，σΨ为比例系数，Ψt(d,d′)表示第t次迭代视差为d时的保真度函数，d′为所有超像素的平均视差值矩阵；4)迭代函数为其中，为基于超像素的匹配代价的初始值c和λ为比例系数，表示第t次迭代视差为d时的保真度函数，表示经过t次迭代后生成的基于超像素的匹配代价矩阵；在每次迭代后都要进行左右一致性检测和基于Canny边缘的保真度处理操作；直到迭代次数t达到设定值T；得到最终的即为优化后的基于超像素的代价信息。本专利技术的另一目的在于提供一种基于双目图像匹配获取目标深度信息的系统，该系统包括：(1)图像预处理子系统，处理内容包括：对输入的双目图像左图和右图进行处理，两张图像如果为彩色图像则转为灰度图，然后对灰度图进行高斯滤波处理；(2)局部信息处理子系统，处理内容包括：求取双目图像横向和纵向的梯度代价信息、左右图像中每个像素点的Hamming距离代价信息，然后对局部代价信息进行加权相加处理；(3)超像素分割子系统，处理内容包括：分别对已转换为灰度图像的左右图片进行SLIC超像素分割，获得超像素分割信息；(4)信息融合子系统，处理内容包括：基于以上获得的双目图像的局部代价信息和超像素分割信息，对每个超像素内的局部代价信息相加然后求均值获得基于超像素的代价信息；(5)自适应重启随机步优化子系统，处理内容包括：1)设置迭代次数T，求归一化权重矩阵，其中，wij表示超像素si和sj之间的权重，De表示超像素si和sj之间的欧氏距离，De＝αe×sqrt((xsi-xsj)2+(ysi-ysj)2)，τe、σe、αe为设置的比例系数，I(si)和I(sj)表示超像素si和sj和平均灰度值，xsiysixsjysj分别表示超像素si和sj的中心X和Y方向的坐标；将wij组成的矩阵按行进行归一化获得归一化权重矩阵2)进行左右一致性检测，确认超像素s是否为遮挡点，用Ot(s)来表示，若是遮挡点Ot(s)值为0，若不是遮挡点值为1，然后将所有超像素的遮挡情况放入矩阵vt中，则vt＝[Ot(s)]k×1，k为超像素个数，⊙表示元素对应相乘，是存储所有超像素视差为d时基于超像素的匹配代价；3)基于Canny边缘的保真度处理，di′表示超像素si平均视差值，N(i)表示和超像素si相邻的所有超像素，这里的相邻不仅要求图像上相邻还要求这两个超像素之间不同时存在Canny边缘和SLIC分割边缘，为超像素sj最优视差，Ot(sj)表示超像素sj的遮挡情况，τΨ为阈值参数，σΨ为比例系数，Ψt(d,d′)表示第t次迭代视差为d时的保真度函数，d′为所有超像素的平均视差值矩阵；4)迭代函数为其中，为基于超像素的匹配代价的初始值c和λ为比例系数，表示第t次迭代视差为d时的保真度函数，表示经过t次迭代后生成的基于超像素的匹配代价矩阵；在每次迭代后都要进行左右一致性检测和基于Canny边缘的保真度处理操作；直到迭代次数t达到设定值T，获得优化后的基于超像素的代价信息；(6)深度输出子系统：将优化后的基于超像素的代价信息和局部代价信息进行加权相加，获取最小代价对应的视差值，根据视差值与深度的比例关系获得深度值然后进行输出。有益效果：本专利技术可以减小图像噪声、灰度信息变化、光照变化带来的不利影响；将基于像素的匹配转换为基于超像素的匹配，降低了计算量减少了计算时间；另外使用自适应重启随机步算法进行优化得到了全局最优匹配的结果，并且内部对物体边缘的检测处理使得边缘深度信息更加精确。附图说明图1为本专利技术方法流程图。图2为本专利技术系统结构图。图3为Census变换以及Hamming距离求取示意图。图4为超像素分割结果示意图。图5为Canny边缘检测结果示意图。图6为遮挡情况示意图。图7为深度结果图。具体实施方式下面结合附图对本专利技术做进一步详细描述：如图1所示，本专利技术基于双目图像匹配获取目标深度信息的方法，步骤如下：S001：若输入双目图像为彩色图像，首先将彩色图像转为灰度图，本文档来自技高网...

【技术保护点】
一种基于双目图像匹配获取目标深度信息的方法，其特征在于：该方法包括如下步骤：(1)获取双目图像左图和右图两张图像，如果图像为彩色图则转为灰度图，对灰度图进行高斯滤波处理；(2)求取双目图像的局部代价信息，包括横向和纵向的梯度代价信息、左右图像中每个像素点的Hamming距离代价信息，然后对局部代价信息进行加权相加处理；(3)对左右图像进行基于SLIC算法的超像素分割，获得超像素分割信息；(4)基于以上获得的双目图像的局部代价信息和超像素分割信息，对每个超像素内的局部代价信息相加然后求均值获得基于超像素的代价信息；(5)将基于超像素的代价信息输入到自适应重启随机步算法中，进行迭代优化，获得优化后的基于超像素的代价信息；(6)将优化后的基于超像素的代价信息和上述步骤(2)中的局部代价信息进行加权相加，获取最小代价对应的视差值，根据视差值与深度的比例关系获得深度值。

【技术特征摘要】
1.一种基于双目图像匹配获取目标深度信息的方法，其特征在于：该方法包括如下步骤：(1)获取双目图像左图和右图两张图像，如果图像为彩色图则转为灰度图，对灰度图进行高斯滤波处理；(2)求取双目图像的局部代价信息，包括横向和纵向的梯度代价信息、左右图像中每个像素点的Hamming距离代价信息，然后对局部代价信息进行加权相加处理；(3)对左右图像进行基于SLIC算法的超像素分割，获得超像素分割信息；(4)基于以上获得的双目图像的局部代价信息和超像素分割信息，对每个超像素内的局部代价信息相加然后求均值获得基于超像素的代价信息；(5)将基于超像素的代价信息输入到自适应重启随机步算法中，进行迭代优化，获得优化后的基于超像素的代价信息；(6)将优化后的基于超像素的代价信息和上述步骤(2)中的局部代价信息进行加权相加，获取最小代价对应的视差值，根据视差值与深度的比例关系获得深度值。2.根据权利要求1所述的基于双目图像匹配获取目标深度信息的方法，其特征在于：步骤(5)中获得优化后的基于超像素的代价信息的具体步骤如下：1)设置迭代次数T，求归一化权重矩阵，其中，wij表示超像素si和sj之间的权重，De表示超像素si和sj之间的欧氏距离，De＝αe×sqrt((xsi-xsj)2+(ysi-ysj)2)，τe、σe、αe为设置的比例系数，I(si)和I(sj)表示超像素si和sj和平均灰度值，xsiysixsjysj分别表示超像素si和sj的中心X和Y方向的坐标；将wij组成的矩阵按行进行归一化获得归一化权重矩阵2)进行左右一致性检测，确认超像素s是否为遮挡点，用Ot(s)来表示，若是遮挡点Ot(s)值为0，若不是遮挡点值为1，然后将所有超像素的遮挡情况放入矩阵vt中，则vt＝[Ot(s)]k×1，k为超像素个数，⊙表示元素对应相乘，是存储所有超像素视差为d时基于超像素的匹配代价；3)基于Canny边缘的保真度处理，di′表示超像素si平均视差值，N(i)表示和超像素si相邻的所有超像素，这里的相邻不仅要求图像上相邻还要求这两个超像素之间不同时存在Canny边缘和SLIC分割边缘，为超像素sj最优视差，Ot(sj)表示超像素sj的遮挡情况，τΨ为阈值参数，σΨ为比例系数，Ψt(d,d′)表示第t次迭代视差为d时的保真度函数，d′为所有超像素的平均视差值矩阵；4)迭代函数为其中，为基于超像素的匹配代价的初始值c和λ为比例系数，表示第t次迭代视差为d时的保真度函数，表示经过t次迭代后生成的基于超像素的匹配代价矩阵；在每次迭代后都要进行左右一致性检测和基于Canny边缘的保真度处理操作；直到迭代次数t达到设定值T；得到最终的即为优化后...

【专利技术属性】
技术研发人员：张雪涛，左长乐，王飞，李中常，孙继发，姜沛林，杨奔，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西,61