基于正交立体装置的实时立体匹配故障预测与解决方法制造方法及图纸

本发明专利技术提出了一种基于正交立体装置的实时立体匹配故障预测与解决方法，包括如下步骤：正交摄像装置、现场可编程门阵列、半全局匹配算法、高斯模糊核。线性结构的弱纹理会导致立体匹配出现故障，基于正交立体装置的实时立体匹配故障预测与解决方法，其过程为通过正交摄像装置的四图像传感器的低电压差分信号接口连接到单个现场可编程逻辑序列，FPGA再同步四个独立的数据流对图像进行偏差操作，用半全局匹配算法对图像传感器扫描线和连续计算新线路的深度图进行缓冲，在多个方向上进行优化，最后使用纹理红指示器和高斯模糊核来避免弱纹理区域的故障发生。本发明专利技术能够有效解决弱纹理区域的错误匹配问题，提高立体匹配精度和准确性。

Real time stereo matching fault prediction and solution based on orthogonal stereoscopic device

The invention proposes a real-time stereo matching fault prediction and solution based on orthogonal stereo device, including the following steps: the orthogonal camera, the field programmable gate array, the semi global matching algorithm and the Gauss fuzzy kernel. The weak lines of linear structures cause the failure of stereo matching. The real-time stereo matching fault prediction and solution based on the orthogonal stereo device is connected to a single field programmable logic sequence through the low voltage differential signal interface of the four image sensor of the orthogonal camera device, and the FPGA is synchronized with four independent numbers. According to the deviation operation of the image, the semi global matching algorithm is used to buffer the image sensor scan line and the depth map of the continuous computing new line, and it is optimized in many directions. Finally, the texture red indicator and Gauss fuzzy kernel are used to avoid the failure of the weak texture region. The invention can effectively solve the problem of error matching in weak texture regions, and improve the accuracy and accuracy of stereo matching.

【技术实现步骤摘要】
基于正交立体装置的实时立体匹配故障预测与解决方法
本专利技术属于立体匹配
，具体涉及一种基于正交立体装置的实时立体匹配故障预测与解决方法。
技术介绍
立体匹配技术一直是三维场景结构信息获取的研究热点之一，也是计算机视觉领域中一个很有价值的热点问题，在工业、医疗器材、监控系统、视觉导航、人机交互和无人机等方面有广泛的应用，其基本原理是从两个视点观察同一景物以获取立体像对，匹配出相应像点，从而计算出视差并获得三维信息，立体匹配通常包括四个步骤：(1)匹配代价的计算；(2)匹配代价的聚合；(3)视差的计算和优化(4)视差的细化求精。立体匹配算法主要可以分为三类，局部算法、全局算法和半全局算法。局部算法基于特定窗口聚合匹配代价，运算速度快，但是精度差。全局算法的出现提高了立体匹配的准确性，然而较慢的实时性限制了它在实际场景中的应用。半全局算法的提出有效地平衡了立体匹配的速度与精度的关系，半全局算法具有鲁棒性强和对光照影响不敏感的优势，但仍然存在弱纹理区域及重复纹理区域特征点误匹配率高的问题。因此，申请人提出一种基于正交立体装置的实时立体匹配故障预测与解决方法，其在提高精度避免故障的同时，运行时间也可大幅度提高。
技术实现思路
针对现有技术的不足，本专利技术提出一种基于正交立体装置的实时立体匹配故障预测与解决方法，其能够有效解决弱纹理区域的误匹配问题，提高立体匹配精度。为了解决立体匹配中弱纹理区域出现的故障，本专利技术提出一种基于正交立体装置的实时立体匹配故障预测与解决方法，包括如下步骤：S1、正交摄像装置；S2、现场可编程门阵列；S3、半全局匹配算法；S4、高斯模糊核；通过正交摄像装置的四图像传感器的低电压差分信号接口连接到单个现场可编程逻辑序列，FPGA再同步四个独立的数据流对图像进行偏差操作，用半全局匹配算法对图像传感器扫描线和连续计算新线路的深度图进行缓冲，在多个方向上进行优化，最后使用纹理红指示器和立体匹配算法来避免弱纹理区域的故障发生。进一步地，所述的正交摄像装置，如图3所示，是带有两个正交极线的传感器摄像头，由不同角度同时获得两幅数字图像，为了获得三维空间中某点的三维坐标，需要在左右两个摄像机像面上都存在该点的响应点，所以必须安装在一个稳定的平台上，半全局立体匹配算法直接在两个硬件上计算和运行，并通过USB3.0同步输出。所有四个摄像机都使用内联函数进行校正，使用二维标记初始校准运行过程中获得的非本征数据，使用半全局立体匹配算法在硬件中计算水平对和垂直对的立体匹配，计算的两个深度映射和两个置信度图通过USB3.0传输到连接的计算机中。多摄像机立体装置用每个立体对的匹配分数的加权平均来融合深度图，这是实时深度地图融合的前期工作，这种方法的问题是沿着一条直线的匹配分数很高，因此匹配的分数为深度图融合提供了一个不适当的加权。上述匹配函数根据故障评分在正常操作中选择一个源图像为每个像素i,j在正常运作，然而，如果深度图都在彼此的10％范围内，使用它的匹配分数mi,j计算它们的加权平均值来融合这些像素，这为深度估计提供了一个稳固的交叉检查，还允许接受不具有由SGM分配的高分数的像素，这一步骤显著提高了召回率。本专利技术使用额外的摄像机，提高单基线立体匹配系统的精确度和召回率，在同样的硬件上执行所有的计算，只增加成本和重量两个模型，标准的立体磁头上的低成本图像传感器，可以成功地避开错误测量并且在图像中的立体相关置信度低的地区增加召回率，获得可靠的测量结果。进一步地，所述的现场可编程门阵列，为了理解硬件上实时立体匹配的基本约束，本专利技术在硬件上引入立体匹配的操作现场可编程门阵列，现场可编程门阵列(FPGA)在处理之前不存储摄像机的完整帧，它只有缓冲很少的图像传感器扫描线和连续计算新线路进入系统的深度图，这允许用一个芯片快速地处理多达10个摄像机，但它对图像的访问和存储方式加了一些限制。并不是所有的立体匹配算法都适合这种类型的操作，但是可以用半全局匹配算法，通过在多个方向上优化得到的深度图，它提高了块匹配，其中一条路径平行于对极线方向。其中，所述的基本约束在这里是指织构化元素，立体视觉系统中成像方式以及场景中的几何关系都可以形成立体匹配的约束条件，它们对减少搜索的计算量，提高匹配正确性有着很大的帮助，极线条件是几何成像应该遵循的基本条件，可以把立体匹配的搜索范围从二维降到一维，如果有一个纹理沿着对极线是重复的，它满足纹理和匹配分数标准，但是匹配分数会很高，表明这种基本属性是不可避免的，纹理场景在城市中是很常见的，然而，它有足够的特性导致立体匹配相关故障，这个问题在运动域的结构中得到了很好的研究，并且在照片左右一致性检查中经常被隐式地解决，然而，因为本专利技术重点应用是机器视觉领域，因此本专利技术利用实时立体算法的属性提出了一种新的、更有效的方法，无人机和其他拥有单一立体匹配对的自动驾驶汽车或系统都受到立体匹配的对极线几何的约束。系统给每个深度图都计算一个预测图像，创建最终深度图和最终匹配分数图，每个像素位置的最终匹配分数图ci,j是半匹配全局算法的图像a或b的匹配分数mi,j的加权平均值，从具有较低的故障评分fi,j的图像中进行选择，该加权平均值是一个联合的价值函数：ci,j＝mi,j+s·fi,j(1)s＝2，其从半匹配全局算法的匹配分数和故障预测提供一个稳定的权衡，用该值固定的参数执行的所有实验，得到的图像明亮的区域表示立体相关的可能出现故障的区域。进一步地，半全局匹配算法，本专利技术利用SGM提供的匹配分数来确定极线几何的可能故障，当它遇到与极线平行的线时，匹配分数会达到峰值：本专利技术比较线路之间的匹配分数，以确定估计可能出现故障的区域。SGM算法对图像的灰度值进行运算，不在图像的大梯度上传播视差值。然而，沿着外极线方向的虚假视差匹配不包含任何垂直梯度，并且SGM算法沿外极线的方向传播误匹配，利用其平滑步骤的这个特殊属性来检测故障。进一步地，高斯模糊核，定性评价表明，上述SGM匹配分数在所有场景中都是最好的预测因子，当输入深度图被中值滤波时，本专利技术采用一个3δ(拉依达准则)的13×13高斯模糊核来调整匹配分数图像的尺度空间，预测下一步最可能的故障位置，利用前面讨论的半全局算法属性，而不是在强梯度上进行优化，其结果在图像分数也是可行的，通过找到这些分数差的梯度大小，可以可靠地预测平行于极线的线结构。为了达到这个目的，本专利技术将积分图像与一维在垂直方向上的Sobel核与具有7个像素区域和0.3δ的高斯的外极线做卷积，匹配分数沿外极线的显著变化是对错误测量的可靠预测。本专利技术的有益效果是：本专利技术能够有效解决弱纹理区域的误匹配问题，提高立体匹配精度。附图说明图1是本专利技术一种基于正交立体装置的实时立体匹配故障预测与解决方法的系统框架图。图2是本专利技术一种基于正交立体装置的实时立体匹配故障预测与解决方法的立体匹配约束情况示意图。图3是本专利技术一种基于正交立体装置的实时立体匹配故障预测与解决方法的算法流程图。具体实施方式下面结合附图和具体实施对本专利技术作进一步详细说明。图1是本专利技术一种基于正交立体装置的实时立体匹配故障预测与解决方法的系统框架图，其主要内容包括正交摄像装置、现场可编程门阵列、半全局匹配算法、高斯模糊核。其中，所述的正交摄像装置，如本文档来自技高网...

【技术保护点】
1.一种基于正交立体装置的实时立体匹配故障预测与解决方法，其特征在于，包括以下步骤：S1、正交摄像装置；S2、现场可编程门阵列；S3、半全局匹配算法；S4、高斯模糊核；通过正交摄像装置的四图像传感器的低电压差分信号接口连接到单个现场可编程逻辑序列，FPGA再同步四个独立的数据流对图像进行偏差操作，用半全局匹配算法对图像传感器扫描线和连续计算新线路的深度图进行缓冲，在多个方向上进行优化，最后使用纹理红指示器和立体匹配算法来避免弱纹理区域的故障发生。

【技术特征摘要】
1.一种基于正交立体装置的实时立体匹配故障预测与解决方法，其特征在于，包括以下步骤：S1、正交摄像装置；S2、现场可编程门阵列；S3、半全局匹配算法；S4、高斯模糊核；通过正交摄像装置的四图像传感器的低电压差分信号接口连接到单个现场可编程逻辑序列，FPGA再同步四个独立的数据流对图像进行偏差操作，用半全局匹配算法对图像传感器扫描线和连续计算新线路的深度图进行缓冲，在多个方向上进行优化，最后使用纹理红指示器和立体匹配算法来避免弱纹理区域的故障发生。2.如权利要求1所述的基于正交立体装置的实时立体匹配故障预测与解决方法，其特征在于，S1、正交摄像装置，包括如下步骤：S11、将带有两个正交极线的传感器摄像头固定在稳定的平台上，由不同角度同时获得两幅数字图像，在左右两个摄像机像面上都存在该点的响应点，可获得三维空间中某点的三维坐标；S12、在两个硬件上直接计算和运行半全局立体匹配算法，并通过接口同步输出，四个摄像机都使用内联函数进行校正；S13、使用二维标记初始校准运行过程中获得的非本征数据，多摄像机立体装置用每个立体对的匹配分数的加权平均来融合深度图；匹配函数根据故障评分在正常操作中选择一个源图像为每个像素i,j在正常运作，然而，如果深度图都在彼此的10％范围内，使用它的匹配分数mi,j计算它们的加权平均值来融合这些像素，这为深度估计提供了一个稳固的交叉检查，还允许接受不具有由SGM分配的高分数的像素；S14、使用另外的两个摄像机，提高单基线立体匹配系统的精确度和召回率，在同样的硬件上执行所有的计算，只增加成本和重量两个模型，在标准的立体磁头上加一个低成本的图像传感器，避开错误测量并且在图像中的立体相关置信度低的地区增加召回率，获得可靠的测量结果。3.如权利要求1所述的基于正交立体装置的实时立体匹配故障预测与解决方法，其特征在于，S2、现场可编程门阵列，包括如下步骤：S21、现场可编程门阵列中用半全局匹配算法，通过在多个方向上优化得到的深度图，利用联合的价值函数来融合深度...

【专利技术属性】
技术研发人员：王国强，张斌，骞志彦，周琪琦，
申请(专利权)人：视缘上海智能科技有限公司，
类型：发明
国别省市：上海,31