立体视觉匹配方法及系统技术方案

本发明专利技术涉及计算机视觉技术领域。本发明专利技术实施例提供一种立体视觉匹配方法及系统，其中该方法包括：获取对应于同步场景的第一散斑场景图像和第二散斑场景图像；对第一散斑场景图像和第二散斑场景图像进行多值化特征提取，以分别得出相对应的第一多值化特征图像和第二多值化特征图像；确定针对第一多值化特征图像和第二多值化特征图像的结构相似度匹配代价和梯度匹配代价，并基于所确定的结构相似度匹配代价和梯度匹配代价生成相对应的视差图像；对视差图像进行优化处理并结合相机的内部参数，以输出对应的深度图像。由此，利用特征图像作为匹配的输入，可以降低噪声等因素的干扰，并使用了多种匹配代价，提高了所获得的深度图像的整体效果。

Stereo Vision Matching Method and System

The invention relates to the field of computer vision technology. The embodiment of the present invention provides a stereo vision matching method and system, which includes acquiring the first speckle scene image and the second speckle scene image corresponding to the synchronous scene, extracting the first speckle scene image and the second speckle scene image to obtain the corresponding first multi-valued feature image and the second multi-valued feature image, respectively. The matching cost of structural similarity and gradient for the first and second multi-valued feature images are determined, and the corresponding disparity image is generated based on the determined structural similarity matching cost and gradient matching cost. The disparity image is optimized and processed combined with the internal parameters of the camera to output the corresponding depth image. As a result, using feature image as matching input can reduce the interference of noise and other factors, and use a variety of matching costs to improve the overall effect of the obtained depth image.

【技术实现步骤摘要】
立体视觉匹配方法及系统
本专利技术涉及计算机视觉
，具体地涉及一种立体视觉匹配方法及系统。
技术介绍
随着科技的不断发展，立体视觉匹配(StereoMatching)作为三维重建、非接触测距和视觉导航等关键技术，被广泛应用于自动化流水线、无人驾驶和智能机器人控制等领域。图像立体匹配方法按照匹配约束的作用范围可以分为基于全局立体匹配方法和基于局部立体匹配方法。其中，全局立体匹配方法主要通过建立全局能量函数，利用优化理论估计视差，并通过求解最小化能量函数得到视差，该类方法运算时间长，但结果较好，主要方法有图割方法以及动态规划方法；局部立体匹配方法利用局部优化方法估计视差，该类方法速度快，精度高。但是，目前相关技术中所提出的图像立体匹配方法大多数所采用的匹配代价是单一的，而单一的匹配代价(只有一种代价计算方法)使得输出视差图像对于低纹理场景图像误匹配严重，以及视差图像中噪点较多。
技术实现思路
本专利技术实施例的目的是提供一种立体视觉匹配方法及系统，用以解决现有技术中因单一匹配代价应用所导致的视差图像中噪点较多，以及深度图像效果欠佳的技术问题。为了实现上述目的，本专利技术实施例一方面提供本文档来自技高网...

【技术保护点】
1.一种立体视觉匹配方法，其特征在于，该方法包括：获取对应于同步场景的第一散斑场景图像和第二散斑场景图像；对所述第一散斑场景图像和所述第二散斑场景图像进行多值化特征提取，以分别得出相对应的第一多值化特征图像和第二多值化特征图像；确定针对所述第一多值化特征图像和所述第二多值化特征图像的结构相似度匹配代价和梯度匹配代价，并基于所确定的结构相似度匹配代价和梯度匹配代价生成相对应的视差图像；对所述视差图像进行优化处理并结合相机的内部参数，以输出对应的深度图像。

【技术特征摘要】
1.一种立体视觉匹配方法，其特征在于，该方法包括：获取对应于同步场景的第一散斑场景图像和第二散斑场景图像；对所述第一散斑场景图像和所述第二散斑场景图像进行多值化特征提取，以分别得出相对应的第一多值化特征图像和第二多值化特征图像；确定针对所述第一多值化特征图像和所述第二多值化特征图像的结构相似度匹配代价和梯度匹配代价，并基于所确定的结构相似度匹配代价和梯度匹配代价生成相对应的视差图像；对所述视差图像进行优化处理并结合相机的内部参数，以输出对应的深度图像。2.根据权利要求1所述的方法，其特征在于，所述获取对应于同步场景的第一散斑场景图像和第二散斑场景图像包括：获取由双目摄像机中的第一摄像机和第二摄像机分别采集的对应于所述同步场景的第一散斑场景图像和第二散斑场景图像。3.根据权利要求1所述的方法，其特征在于，所述对所述第一散斑场景图像和第二散斑场景图像进行多值化特征提取包括：从散斑场景图像中选择待执行多值化特征处理的当前计算像素，其中所述散斑场景图像包括所述第一散斑场景图像和/或所述第二散斑场景图像；比较所述当前计算像素与在所述当前计算像素的邻域的相邻像素之间像素灰度值的大小，并基于比较结果编码所述当前计算像素；遍历计算所述散斑场景图像中每个像素所对应的编码像素，以生成对应于所述散斑场景图像的多值化特征图像。4.根据权利要求3所述的方法，其特征在于，所述当前计算像素与所述邻域的相邻像素组成十字架形窗口和/或矩形窗口，其中所述当前计算像素为所述十字架形窗口和/或所述矩形窗口的中心像素。5.根据权利要求1所述的方法，其特征在于，所述确定针对所述第一多值化特征图像和所述第二多值化特征图像的结构相似度匹配代价和梯度匹配代价，并基于所确定的结构相似度匹配代价和梯度匹配代价生成相对应的视差图像包括：确定用于在所述第一多值化特征图像和所述第二多值化特征图像之间进行匹配的执行匹配窗口；基于所述执行匹配窗口，确定所述第一多值化特征图像与所述第二多值化图像之间的结构相似度匹配代价和梯度匹配代价；聚合所述结构相似度匹配代价和所述梯度匹配代价，以确定对应的融合匹配代价；基于所述融合匹配代价在所述第一多值化特征图像和所述第二多值化特征图像之间执行像素匹配操作，以生成对应的视差图像。6.根据权利要求5所述的方法，其特征在于，所述确定用于在所述第一多值化特征图像和所述第二多值化特征图像之间进行匹配的执行匹配窗口包括：选择针对待匹配的所述第一多值化特征图像和所述第二多值化特征图像的初始匹配窗口；确定所述第一多值化特征图像和所述第二多值化特征图像之间相匹配的支持区域；统计所述支持区域相对于在所述第一多值化特征图像和所述第二多值化特征图像之间的多个所述初始匹配窗口中像素的值，分别比较窗口内像素值在支持区域所占面积的比值；基于所统计的所述比值迭代自适应计算用于匹配的执行匹配窗口，使得各个所述执行匹配窗口所对应的比值不超过所述低纹理阈值。7.根据权利要求5所述的方法，其特征在于，针对所述结构相似度匹配代价的确定过程包括：确定所述第一多值化特征图像与所述第二多值化特征图像在各个执行匹配窗口内的亮度测量对比信息、对比度测量对比信息和图像结构对比信息；基于所述亮度测量对比信息、所述对比度测量对比信息和所述图像结构对比信息，计算结构相似度匹配代价。8...

【专利技术属性】
技术研发人员：赵奎斌，王行，李骊，盛赞，周晓军，李朔，杨淼，
申请(专利权)人：北京华捷艾米科技有限公司，
类型：发明
国别省市：北京,11