一种基于多匹配基元融合的双目视觉立体匹配方法组成比例

双目视觉基于多匹配基元融合的立体匹配方法包括计算机、二个摄像机和多匹配基元融合的立体匹配方法。摄像机选用ZED双目摄像机。多匹配基元融合的立体匹配方法包含三个阶段：初始匹配代价阶段、代价函数聚合阶段和视差后处理阶段。在初始匹配代价阶段中，设计了包含颜色基元与梯度基元相融合的代价函数，其通过卡尔曼系数α进行自适应调节；在代价函数聚合阶段基于RGB颜色及距离关系设计了自适应匹配窗口，通过窗口内参考图像与代价函数之间相关性进行聚合；最后阶段，通过LRC左右一致性以及基于亚像素级别自适应权重中值滤波进行视差后处理。本发明专利技术对比经典自适应权重算法提高了算法的准确性与实时性，并在复杂的区域表现了较高的鲁棒性。

【技术实现步骤摘要】
一种基于多匹配基元融合的双目视觉立体匹配方法
本专利技术涉及一种基于多匹配基元融合的双目视觉立体匹配方法，可广泛应用于无人驾驶及机器人导航等

技术介绍
立体匹配作为双目视觉中的核心技术广泛应用于无人驾驶及机器人导航等领域。其基本原理是通过双目相机获取场景的二维图，经匹配算法获取待匹配点的视差，进而获取场景的深度信息。立体匹配算法由于其高准确度特性受到学者的广泛关注。然而，由于自然场景中纹理的复杂性及场景深度的不连续性，一直制约着立体匹配算法的实际应用。目前主流的立体匹配算法可分为基于全局的立体匹配算法与基于局部的立体匹配算法。基于全局的立体匹配方法，由于涉及到能量函数的运算，计算复杂、效率低，难以满足实际需求。基于局部的立体匹配方法，在代价函数聚合阶段只对局部数据项进行操作，实时性高，但准确率相对较低，直到Yoon提出经典自适应支持权重算法(ASW)，其准确度得到质的提高，但由于其窗口固定，并不能反映图像的特征及纹理信息。局部立体匹配算法根据匹配基元的不同，又可细分为基于区域、基于特征以及基于相位的立体匹配方法。自适应支持权重方法由于匹配基元单一而且窗口固定，导致算法在复杂纹理区域准确度较低，并且由于复杂的权值计算导致算法实时性低。针对经典算法出现的问题，一些学者基于梯度及或颜色等多种匹配基元信息来表述图像的初始匹配代价，使得算法准确度得到了进一步的提高。然而，并没有摒弃复杂的权值计算，使得该算法的实时性仍较低且鲁棒性弱。Lin等人使用线性函数来拟合原算法中的高斯权值函数，对原图像下采样得到高斯金字塔样本，并采用层次聚类算法计算代价聚合函数，在提高算法实时性的同时又提高了算法的准确度。但是，由于受到采样次数限制，采样后的图像过于模糊，导致该算法鲁棒性较差。一直以来，研究人员都对自适应窗口进行了研究，并通过利用参考图像与待匹配图像自适应窗口的重合度来摒弃一些明显错误的视差值，在代价聚合阶段摒弃了复杂权值的运算。但是，由于没有考虑到参考图像与匹配代价函数之间的相关性，这使得该算法的准确度并不优于经典算法。针对以上问题，为提高算法在实际场景应用中的鲁棒性，本文在初始匹配代价阶段，将颜色匹配基元与梯度匹配基元相融合，并利用Middlebury平台符合自然场景条件的Cones图像对颜色与梯度匹配基元的比例系数α进行自适应调节；在代价函数聚合阶段，首先针对传统方法中固定窗口导致算法在复杂纹理条件下准确度低的问题，根据像素间的颜色信息与空间距离信息对中心像素点进行扩展，然后采用初始匹配代价函数和参考图像像素之间的相关性计算来代替传统的复杂能量函数和权值运算进行代价聚合，不仅提高了算法的准确度，同时也降低了算法的时间复杂度；最后，对所得视差图采取LRC左右一致性检测以及采用一种基于亚像素级自适应权重中值滤波运算，再次提高了算法的准确度。
技术实现思路
本专利技术的目的，是针对现有技术存在的问题而提供一种双目视觉基于多匹配基元融合的立体匹配方法，采用本专利技术的方法所得到的视差图的平均误匹配率得到了极大的改善，图像，清晰而精确，大幅度提高了机器人或无人驾驶机运行轨迹的精度。采用的技术方案是：一种双目视觉基于多匹配基元融合的立体匹配方法，包括计算机、二个摄像机和多匹配基元融合的立体匹配方法，其特征在于：所述二个摄像机选用Astrolabes公司生产的ZED双目摄像机，并对ZED双目摄像机作如下设置：1)图像采集：通过下载ZEDSDK以及CUDA，并通过USB3.0接口连接电脑。通过MATLAB内webcam函数连接ZED双目相机，并通过snapshot函数进行图片采集；2)相机标定：相机标定的目的，旨在获取准确摄像机内外参数。内参数主要包括左右镜头的焦距，基线距离；外参数主要包括两摄像机相对于世界坐标系的旋转矩阵，以及左右相机的相对平移矩阵。本文从官方手册获得摄像机的默认内外参数；3)图像参数设定：通过标定参数进行极线校正使得采集到的左右图像满足极线约束条件。并通过ZEDSDK内嵌ZEDExplorer.exe插件进行参数的重设定；4)立体匹配：立体匹配作为双目视觉系统的核心部分。立体匹配的目的在于对采集到的左右图像进行成像点匹配，通过匹配点得到视差值，并获得场景的深度信息。ZED双目摄像机不仅可以获取高质量的图像信息，而且具有体积小，功耗低的优点。特别是由于内嵌了ZEDSDK函数库以及CUDA并行处理，大大降低了系统的处理时间。ZED双目摄像机可以装设在机器人或无人驾驶机上。双目摄取的实际场景，经多匹配基元融合的立体匹配处理，能达到真实场景的目的，再通过设置在机器人或无人驾驶机上的计算机处理，向机器人或无人驾驶机控制与驱动系统发出导航指令；或是通过设置在机器人或无人驾驶机外部计算机，经过局域网、以太网或是导线与计算机连接，经计算机处理，向机器人或无人驾驶机控制与驱动系统发出导航指令。大幅度提高了机器人或无人驾驶机运行轨迹的精度。所述多匹配基元融合的立体匹配模块方法，包括下述过程：本专利技术采用改进的ASW立体匹配方法。目前已知的ASW立体匹配算法是：在立体匹配算法中，一般默认两幅图像满足极线约束条件，即左右图像对应的匹配点处于两幅图像的同一行位置。ASW算法的核心在于使用支持权重来测量图像像素之间的相似性时，仅当相邻像素来自相同深度时，这些相邻像素的支持才是有效的，它具有与待匹配像素相同的视差。因此，窗口周围像素的支持权重w与窗口视差概率Pr成比例，如公式(1)所示：w(p,q)∝Pr(dp＝dq)(1)其中，p为待匹配像素，q为窗口内除待匹配像素外的其它像素，d为所求视差。w(p,q)与图像的颜色和距离相关，如公式(2)所示：w(p,q)＝k·f(Δcpq,Δgpq)(2)其中，Δcpq,Δgpq分别代表p和q两点分别在LAB颜色空间和几何空间上的距离，k为比例系数，具体数值通过实验获得，f为拉普拉斯核函数，二者相互独立，如公式(3)所示：f(Δcpq,Δgpq)＝f(Δcpq)·f(Δgpq)(3)其中Δcpq，Δgpq计算如公式(4)(5)所示：cp＝|Lp,ap,bp|，cq＝|Lq,aq,bq|为Lab三通道颜色空间色度值，Lab颜色空间中的L分量用于表示像素的亮度，取值范围是[0,100],表示从纯黑到纯白；a表示从红色到绿色的范围，取值范围是[127,-128]；b表示从黄色到蓝色的范围，取值范围是[127,-128]。(px,py)与(qx,qy)为几何空间的坐标值。使用拉普拉斯核函数定义分组强度，如公式(6)(7)所示。γc,γp通过实验获得，论文中取γc＝7,γp＝36(取值一般与窗口大小相关)。之后利用公式(8)进行代价聚合。其中初始匹配代价如公式(9)所示：Ic(q)与为参考图像与待匹配图像固定窗口内视差为d的两像素的灰度值。最后通过WTA(Winner-Takes-All)方法确定最终的视差图。本专利技术采用改进的ASW匹配方法主要包括：左右参考图像读入阶段、左右初始匹配代价阶段、左右代价函数聚合阶段和视差后处理4个阶段，视差后处理4个阶段，主要包含LRC左右一致性检测与滤波运算。其中：一、初始匹配代价计算是：ASW算法利用图像的灰度信息作为匹配代价计算的基元。本专利技术通过对梯度基元和R、G、B本文档来自技高网...

【技术保护点】
1.一种双目视觉基于多匹配基元融合的立体匹配方法，包括计算机、二个摄像机和多匹配基元融合的立体匹配方法，其特征在于：所述摄像机选用ZED双目摄像机，并对ZED双目摄像机作如下设置：(1)、图像采集：通过下载ZED SDK以及CUDA，并通过USB 3.0接口连接电脑；通过MATLAB内webcam函数连接ZED双目相机，并通过snapshot函数进行图片采集；(2)、相机标定：相机标定的目的，旨在获取准确摄像机内外参数；内参数主要包括左右镜头的焦距，基线距离；外参数主要包括两摄像机相对于世界坐标系的旋转矩阵，以及左右相机的相对平移矩阵；本专利技术从官方手册获得摄像机的默认内外参数；(3)、图像参数设定：通过标定参数进行极线校正使得采集到的左右图像满足极线约束条件；并通过ZED SDK内嵌ZED Explorer.exe插件进行参数的重设定；(4)、立体匹配：立体匹配作为双目视觉系统的核心部分；立体匹配的目的在于对采集到的左右图像进行成像点匹配，通过匹配点得到视差值，并获得场景的深度信息；ZED双目摄像机可以装设在机器人或无人驾驶机上，双目摄取的实际场景经多匹配基元融合的立体匹配处理，能达到真实场景的目的，再通过设置在机器人或无人驾驶机上的计算机处理，向机器人或无人驾驶机控制与驱动系统发出导航指令；所述多匹配基元融合的立体匹配方法，包括下述过程：本专利技术采用改进的ASW匹配方法，主要包括左右参考图像读入阶段、左右初始匹配代价阶段、左右代价函数聚合阶段和视差后处理4个阶段；视差后处理4个阶段，主要包含LRC左右一致性检测与滤波运算，其中：1)、初始匹配代价计算是：ASW算法利用图像的灰度信息作为匹配代价计算的基元；本专利技术通过对梯度基元和R、G、B三通道颜色基元的均值设置截断阈值，并通过卡尔曼滤波的思想融合像素的R、G、B颜色与梯度信息，通过控制系数α进行自适应调节从而做出改进；具体过程如下：(1)分别设置颜色和梯度阈值t1、t2，计算初始代价eg，ec，如公式(10)(11)所示；...

【技术特征摘要】
1.一种双目视觉基于多匹配基元融合的立体匹配方法，包括计算机、二个摄像机和多匹配基元融合的立体匹配方法，其特征在于：所述摄像机选用ZED双目摄像机，并对ZED双目摄像机作如下设置：(1)、图像采集：通过下载ZEDSDK以及CUDA，并通过USB3.0接口连接电脑；通过MATLAB内webcam函数连接ZED双目相机，并通过snapshot函数进行图片采集；(2)、相机标定：相机标定的目的，旨在获取准确摄像机内外参数；内参数主要包括左右镜头的焦距，基线距离；外参数主要包括两摄像机相对于世界坐标系的旋转矩阵，以及左右相机的相对平移矩阵；本发明从官方手册获得摄像机的默认内外参数；(3)、图像参数设定：通过标定参数进行极线校正使得采集到的左右图像满足极线约束条件；并通过ZEDSDK内嵌ZEDExplorer.exe插件进行参数的重设定；(4)、立体匹配：立体匹配作为双目视觉系统的核心部分；立体匹配的目的在于对采集到的左右图像进行成像点匹配，通过匹配点得到视差值，并获得场景的深度信息；ZED双目摄像机可以装设在机器人或无人驾驶机上，双目摄取的实际场景经多匹配基元融合的立体匹配处理，能达到真实场景的目的，再通过设置在机器人或无人驾驶机上的计算机处理，向机器人或无人驾驶机控制与驱动系统发出导航指令；所述多匹配基元融合的立体匹配方法，包括下述过程：本发明采用改进的ASW匹配方法，主要包括左右参考图像读入阶段、左右初始匹配代价阶段、左右代价函数聚合阶段和视差后处理4个阶段；视差后处理4个阶段，主要包含LRC左右一致性检测与滤波运算，其中：1)、初始匹配代价计算是：ASW算法利用图像的灰度信息作为匹配代价计算的基元；本发明通过对梯度基元和R、G、B三通道颜色基元的均值设置截断阈值，并通过卡尔曼滤波的思想融合像素的R、G、B颜色与梯度信息，通过控制系数α进行自适应调节从而做出改进；具体过程如下：(1)分别设置颜色和梯度阈值t1、t2，计算初始代价eg，ec，如公式(10)(11)所示；(2)自适应调节α系数计算最终的初始匹配代价，最终的初始匹配代价如公式(12)所示；2)、改进的自适应窗口扩展算法：本发明根据像素间的颜色与空间距离采用自适应窗口方法，已知待匹配的中心像素点p(x,y)，在x和y方向上各邻域像素点分别为p(x-1,y)，p(x+1,y)和p(x,y-1)，p(x,y+1)；不同于传统的自适应窗口扩展方法以中心像素点灰度信息进行像素扩展；本发明以中心点R，G，B作为扩展基元，当邻域像素与中心像素点三通道信息同时满足如下公式(13)条件进行窗口扩张；Ir,g,b(x,y)-Ir,g,b(x-1,y)＜t(13)t为预设颜色阈值，且t∈(0,1)；当图像中由于不连续的纹理而导致同一区域像素跳变时，很难使邻域像素三通道像素信息同时满足公式(13)；基于此特性，本发明对传统的固定窗口做出改进；在邻域像素在满足公式(13)条件下进行窗口自适应扩张时，若场景中存在纹理重复区域导致窗口过大使得代价聚合时计算过于复杂，这不符合算法的实时性要求；本发明根据图像几何特性对自适应窗口设置截断臂长；当满足如下公式(14)时对窗口臂长进行截断；其中，p(x),p(y)为中心像素的横纵坐标值，q(x),q(y)为邻域像素的坐标值；通过对middlebury平台下tsukuba，teddy，cones，venus四张测试图像实验设置最小臂长Lmin＝5，阈值Lm...

【专利技术属性】
技术研发人员：孙福明，杜仁鹏，蔡希彪，
申请(专利权)人：辽宁工业大学，
类型：发明
国别省市：辽宁,21