双目视觉立体匹配方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例提供了双目视觉立体匹配方法、装置、电子设备及存储介质，所述方法包括：分别以左图像和右图像为参考图，确定在各个视差值下的第一初始匹配代价矩阵和第二初始匹配代价矩阵；分别对在各个视差值下的第一初始匹配代价矩阵和第二初始匹配代价矩阵进行代价聚合，得到在各个视差值下的第一聚合匹配代价矩阵和第二聚合匹配代价矩阵；分别基于在各个视差值下的第一聚合匹配代价矩阵和第二聚合匹配代价矩阵，计算出第一初始视差图和第二初始视差图；分别对第一初始视差图和第二初始视差图中每一像素点的视差值进行亚像素级别处理，得到第一中间视差图和第二中间视差图；对第一中间视差图和第二中间视差图进行一致性校正，得到最终视差图。

【技术实现步骤摘要】
双目视觉立体匹配方法、装置、电子设备及存储介质
本申请涉及计算机视觉
，尤其涉及一种双目视觉立体匹配方法、装置、电子设备及存储介质。
技术介绍
立体匹配是双目视觉技术实现过程中最困难也是最重要的一步，目前，立体匹配算法包含全局立体匹配算法、半全局立体匹配算法和局部立体匹配算法三种，其中局部立体匹配算法以其高精度、低耗时获得了最为广泛的应用。此外，立体匹配的算法类型很多，比如基于区域的匹配算法、基于特征的匹配算法等，其中，基于区域的匹配算法应用最为广泛，此类算法通过对比两个区域中像素值的相关度来判断区域中像素点之间的对应性，常用的算法包括SAD(SumofAbsoluteDifference)、NCC(NormalizedCrossCorrelation)、Census变换、Rank变换等。但是，在很多场景下，现有的双目视觉立体匹配算法的匹配率较低，因此，如何实现高精度的双目立体视觉匹配，成为亟待解决的问题。
技术实现思路
本申请提供一种双目视觉立体匹配方法、装置、电子设备及存储介质，以实现高精度的双目立体视觉匹配。本申请提供一种双目视觉立体匹配方法，包括：获取左图像和右图像；分别以所述左图像和所述右图像为参考图，基于所述左图像和所述右图像中的待匹配区域之间的相关系数，确定在各个视差值下的第一初始匹配代价矩阵和第二初始匹配代价矩阵；采用包滤波器分别对在各个视差值下的第一初始匹配代价矩阵和第二初始匹配代价矩阵进行代价聚合，得到在各个视差值下的第一聚合匹配代价矩阵和第二聚合匹配代价矩阵；分别基于在各个视差值下的第一聚合匹配代价矩阵和第二聚合匹配代价矩阵，计算出第一初始视差图和第二初始视差图；采用线性差值分别对所述第一初始视差图和所述第二初始视差图中每一像素点的视差值进行亚像素级别处理，得到第一中间视差图和第二中间视差图；对所述第一中间视差图和所述第二中间视差图进行一致性校正，得到最终视差图。根据本申请提供的一种双目视觉立体匹配方法，所述采用线性差值分别对所述第一初始视差图和所述第二初始视差图中每一像素点的视差值进行亚像素级别处理，得到第一中间视差图和第二中间视差图，包括：基于在与所述第一初始视差图中每一像素点的视差值数值相邻的视差值下对应像素点的第一聚合匹配代价，对所述第一初始视差图中每一像素点的视差值进行亚像素级别处理，得到所述第一中间视差图；基于在与所述第二初始视差图中每一像素点的视差值数值相邻的视差值下对应像素点的第二聚合匹配代价，对所述第二初始视差图中每一像素点的视差值进行亚像素级别处理，得到所述第二中间视差图。根据本申请提供的一种双目视觉立体匹配方法，所述第一中间视差图中每一像素点的视差值基于如下公式确定：其中，为所述第一中间视差图中像素点(i,j)的视差值，为所述第一初始视差图中像素点(i,j)的视差值，为像素点(i,j)在视差值为下的第一聚合匹配代价，为像素点(i,j)在视差值为下的第一聚合匹配代价，为像素点(i,j)在视差值为下的第一聚合匹配代价；所述第二中间视差图中每一像素点的视差值基于如下公式确定：其中，为所述第二中间视差图中像素点(i,j)的视差值，为所述第二初始视差图中像素点(i,j)的视差值，为像素点(i,j)在视差值为下的第二聚合匹配代价，为像素点(i,j)在视差值为下的第二聚合匹配代价，为像素点(i,j)在视差值为下的第二聚合匹配代价。根据本申请提供的一种双目视觉立体匹配方法，所述对所述第一中间视差图和所述第二中间视差图进行一致性校正，得到最终视差图，包括：若所述第一中间视差图中任一像素点与所述任一像素点在所述第二中间视差图中匹配的像素点的视差值之差的绝对值不大于视差差值阈值，则将所述任一像素点的视差值作为所述最终视差图中对应位置的像素点的视差值；否则，将所述任一像素点在所述最终视差图中对应位置的像素点的视差值置为空值。根据本申请提供的一种双目视觉立体匹配方法，所述分别基于在各个视差值下的第一聚合匹配代价矩阵和第二聚合匹配代价矩阵，计算出第一初始视差图和第二初始视差图，包括：基于任一像素点在各个视差值下的第一聚合匹配代价，将所述任一像素点的最小第一聚合匹配代价对应的视差值，作为所述任一像素点在所述第一初始视差图中对应位置的像素点的视差值；基于任一像素点在各个视差值下的第二聚合匹配代价，将所述任一像素点的最小第二聚合匹配代价对应的视差值，作为所述任一像素点在所述第二初始视差图中对应位置的像素点的视差值。根据本申请提供的一种双目视觉立体匹配方法，在任一视差值下的第一初始匹配代价基于如下公式确定：CostL(i,j,d)＝1-r(LM*M(i,j),RM*M(i,j-d))式中，CostL(i,j,d)为以所述左图像为参考图，像素点(i,j)在视差值d下的第一初始匹配代价，LM*M(i,j)为以所述左图像中像素点(i,j)为中心的M*M的区域，RM*M(i,j-d)为所述右图像中像素点(i,j-d)为中心的M*M的区域，r(LM*M(i,j),RM*M(i,j-d))为LM*M(i,j)与RM*M(i,j-d)之间的相关系数，d＝{1，2，3，……,DSR}，DSR为预先设定的视差最大值；在任一视差值下的第二初始匹配代价是基于如下公式确定：CostR(i,j,d)＝1-r(LM*M(i,j+d),RM*M(i,j))式中，CostR(i,j,d)为以所述右图像为参考图，像素点(i,j)在视差值d下的第二初始匹配代价，LM*M(i,j+d)为以所述左图像中像素点(i,j+d)为中心的M*M的区域，RM*M(i,j)为所述右图像中像素点(i,j)为中心的M*M的区域，r(LM*M(i,j+d),RM*M(i,j))为LM*M(i,j+d)与RM*M(i,j)之间的相关系数。根据本申请提供的一种双目视觉立体匹配方法，在任一视差值下的第一聚合匹配代价基于如下公式确定：式中，CostAggr_L(i,j,d)为以所述左图像为参考图，像素点(i,j)在视差值d下的第一聚合匹配代价，N为滑动窗口的大小，d＝{1，2，3……,DSR}，DSR为预先设定的视差最大值；在任一视差值下的第二聚合匹配代价基于如下公式确定：式中，CostAggr_R(i,j,d)为以所述右图像为参考图，像素点(i,j)在视差值d下的第二聚合匹配代价。本申请还提供一种双目视觉立体匹配装置，包括：图像获取单元，用于获取左图像和右图像；初始匹配代价确定单元，用于分别以所述左图像和所述右图像为参考图，基于所述左图像和所述右图像中的待匹配区域之间的相关系数，确定在各个视差值下的第一初始匹配代价矩阵和第二初始匹配代价矩阵；聚合匹配代价确定单元，用于采用包滤波器分别对在各个视差值下的第一初始匹配代价矩阵和第二初始匹配代价矩阵进行代价聚合，得到在各个视差值下的第一本文档来自技高网...

【技术保护点】
1.一种双目视觉立体匹配方法，其特征在于，包括：/n获取左图像和右图像；/n分别以所述左图像和所述右图像为参考图，基于所述左图像和所述右图像中的待匹配区域之间的相关系数，确定在各个视差值下的第一初始匹配代价矩阵和第二初始匹配代价矩阵；/n采用包滤波器分别对在各个视差值下的第一初始匹配代价矩阵和第二初始匹配代价矩阵进行代价聚合，得到在各个视差值下的第一聚合匹配代价矩阵和第二聚合匹配代价矩阵；/n分别基于在各个视差值下的第一聚合匹配代价矩阵和第二聚合匹配代价矩阵，计算出第一初始视差图和第二初始视差图；/n采用线性差值分别对所述第一初始视差图和所述第二初始视差图中每一像素点的视差值进行亚像素级别处理，得到第一中间视差图和第二中间视差图；/n对所述第一中间视差图和所述第二中间视差图进行一致性校正，得到最终视差图。/n

【技术特征摘要】
1.一种双目视觉立体匹配方法，其特征在于，包括：
获取左图像和右图像；
分别以所述左图像和所述右图像为参考图，基于所述左图像和所述右图像中的待匹配区域之间的相关系数，确定在各个视差值下的第一初始匹配代价矩阵和第二初始匹配代价矩阵；
采用包滤波器分别对在各个视差值下的第一初始匹配代价矩阵和第二初始匹配代价矩阵进行代价聚合，得到在各个视差值下的第一聚合匹配代价矩阵和第二聚合匹配代价矩阵；
分别基于在各个视差值下的第一聚合匹配代价矩阵和第二聚合匹配代价矩阵，计算出第一初始视差图和第二初始视差图；
采用线性差值分别对所述第一初始视差图和所述第二初始视差图中每一像素点的视差值进行亚像素级别处理，得到第一中间视差图和第二中间视差图；
对所述第一中间视差图和所述第二中间视差图进行一致性校正，得到最终视差图。


2.根据权利要求1所述的双目视觉立体匹配方法，其特征在于，所述采用线性差值分别对所述第一初始视差图和所述第二初始视差图中每一像素点的视差值进行亚像素级别处理，得到第一中间视差图和第二中间视差图，包括：
基于在与所述第一初始视差图中每一像素点的视差值数值相邻的视差值下对应像素点的第一聚合匹配代价，对所述第一初始视差图中每一像素点的视差值进行亚像素级别处理，得到所述第一中间视差图；
基于在与所述第二初始视差图中每一像素点的视差值数值相邻的视差值下对应像素点的第二聚合匹配代价，对所述第二初始视差图中每一像素点的视差值进行亚像素级别处理，得到所述第二中间视差图。


3.根据权利要求2所述的双目视觉立体匹配方法，其特征在于，所述第一中间视差图中每一像素点的视差值基于如下公式确定：



其中，为所述第一中间视差图中像素点(i,j)的视差值，为所述第一初始视差图中像素点(i,j)的视差值，为像素点(i,j)在视差值为下的第一聚合匹配代价，为像素点(i,j)在视差值为下的第一聚合匹配代价，为像素点(i,j)在视差值为下的第一聚合匹配代价；
所述第二中间视差图中每一像素点的视差值基于如下公式确定：



其中，为所述第二中间视差图中像素点(i,j)的视差值，为所述第二初始视差图中像素点(i,j)的视差值，为像素点(i,j)在视差值为下的第二聚合匹配代价，为像素点(i,j)在视差值为下的第二聚合匹配代价，为像素点(i,j)在视差值为下的第二聚合匹配代价。


4.根据权利要求1-3任一项所述的双目视觉立体匹配方法，其特征在于，所述对所述第一中间视差图和所述第二中间视差图进行一致性校正，得到最终视差图，包括：
若所述第一中间视差图中任一像素点与所述任一像素点在所述第二中间视差图中匹配的像素点的视差值之差的绝对值不大于视差差值阈值，则将所述任一像素点的视差值作为所述最终视差图中对应位置的像素点的视差值；
否则，将所述任一像素点在所述最终视差图中对应位置的像素点的视差值置为空值。


5.根据权利要求1-3任一项所述的双目视觉立体匹配方法，其特征在于，所述分别基于在各个视差值下的第一聚合匹配代价矩阵和第二聚合匹配代价矩阵，计算出第一初始视差图和第二初始视差图，包括：
基于任一像素点在各个视差值下的第一聚合匹配代价，将所述任一像素点的最小第一聚合匹配代价对应的视差值，作为所述任一像素点在所述第一初始视差图中对应位置的像素点的视差值；
基于任一像素点在各个视差值下的第二聚合匹配代价，将所述任一像素点的最小第二聚合匹配代价对应的视差值，作为所述任一像素点在所述第二初始视差图中对应位置的像素点的视差值。


6.根据权利要求1-3任一项所述的双目视觉立体匹配方法，其特征在于，在任一视差值下的第一初始匹配代价基于如下公式确定：
CostL(i,j,d)＝1-r(LM*M(i,j),RM*M(i,j-d))
式中，CostL(i,j,d)为以所述左图像为参考图，像素点(i,j)在视差值d下的第一初始匹配代价，LM*M(i,j)为以所述左图像中像素点(i,j)为中心的M*M的区域，RM*M(i,j-d)为所述右图像中像素点(i,j-d)为中心的M*M的区域，r(LM*M(i,j),RM*M(i,j-d))为LM*M(i,j)与RM*M(i,j-d)之间的相关系数，d＝{1，2，3，……,DSR}，DSR为预先设定的视差最大值；
在任一视差值...

【专利技术属性】
技术研发人员：陈海波，罗艳，
申请(专利权)人：深兰人工智能芯片研究院江苏有限公司，
类型：发明
国别省市：江苏;32