一种修补视差图中噪点的方法及装置制造方法及图纸

本发明专利技术提供一种修补视差图中噪点的方法及装置，该方法包括：基于两台深度相机拍摄的同一场景的深度图确定场景的视差图；若视差图中第一像素点为噪点，统计第一像素点的检测窗口中视差值的置信度值小于第一置信度阈值、且灰度值与第一像素点的灰度值的差值小于灰度阈值的第二像素点的数量；若第二像素点的数量与检测窗口内的像素点数量的比例大于比例阈值，则基于第二像素点的视差值替换第一像素点的视差值；若第二像素点的数量与检测窗口内的像素点数量的比例小于或等于比例阈值，基于按比例放大后的匹配窗口确定第一像素点的最优代价函数，用最优代价函数对应的视差值替换第一像素点的视差值，以提升修补后视差值的准确度。

A method and apparatus for repair of noise in the disparity map

The present invention provides a method and a device for repair of noise in the disparity map, the method comprises: a depth map of the same scene two Taiwan depth camera to determine the disparity map based on the scene; if the first pixel disparity map for noise, the detection window of pixels in the first statistical confidence value is less than the first confidence threshold the number of second, and the gray value of pixel gray level difference with the first pixel value is less than the gray threshold disparity values; if the number of pixels and second pixels within the detection window is greater than the ratio of the proportion of the threshold is second parallax based on pixel values to replace the first parallax pixel values; if the number of the number of pixels and the detection window is second pixels in the proportion of less than or equal to the threshold ratio, the optimal cost function first pixel matching window to determine the scaling up based on The parallax value of the first pixel point is replaced by the parallax value corresponding to the optimal cost function so as to improve the accuracy of the post parallax value.

【技术实现步骤摘要】
一种修补视差图中噪点的方法及装置
本专利技术涉及计算机视觉
，尤其涉及一种修补视差图中噪点的方法及装置。
技术介绍
双目立体视觉技术是一种对双目摄像机拍摄的同一场景的深度图进行视差估计，确定三维空间场景深度的技术。在通过视差估计算法(例如，半全局匹配算法)得到的视差图中，往往存在大量噪点，这些噪点对后续操作及分析处理会产生较大干扰，因此，在使用视差图之前一般需要进行噪点修补。目前普遍采用的修补方式是对视差图中每一个噪点采用相同的修补方法进行修补，但是视差图中每一个噪点及其周围像素点的情况不同，采用同一同修补方法进行修补，必然导致某些噪点修补的准确度不高。
技术实现思路
本专利技术的目的在于提供一种修补视差图中噪点的方法及装置，用以提升修补后视差值的准确度。为实现上述专利技术目的，本专利技术提供了如下技术方案：本专利技术提供一种修补视差图中噪点的方法，所述方法包括：采用两台深度相机拍摄同一场景的深度图，基于预设的匹配窗口确定所述深度图中像素点的代价函数，并基于所述代价函数确定所述场景的视差图；若所述视差图中第一像素点为噪点，统计所述第一像素点的检测窗口中视差值的置信度值小于预设的第一置信度阈值、且灰度值与所述第一像素点的灰度值的差值小于预设的灰度阈值的第二像素点的数量；若所述第二像素点的数量与所述检测窗口内的像素点数量的比例大于预设的比例阈值，则基于所述第二像素点的视差值替换所述第一像素点在所述视差图中的视差值；若所述第二像素点的数量与所述检测窗口内的像素点数量的比例小于或等于预设的比例阈值，按照预设的比例放大所述匹配窗口，基于放大后的匹配窗口确定所述第一像素点的最优代价函数，并用所述最优代价函数对应的视差值替换所述第一像素点在所述视差图中的视差值。本专利技术还提供一种修补视差图中噪点的装置，所述装置包括：视差图确定单元，用于采用两台深度相机拍摄同一场景的深度图，基于预设的匹配窗口确定所述深度图中像素点的代价函数，并基于所述代价函数确定所述场景的视差图；像素点统计单元，用于若所述视差图中第一像素点为噪点，统计所述第一像素点的检测窗口中视差值的置信度值小于预设的第一置信度阈值、且灰度值与所述第一像素点的灰度值的差值小于预设的灰度阈值的第二像素点的数量；第一视差值替换单元，用于若所述第二像素点的数量与所述检测窗口内的像素点数量的比例大于预设的比例阈值，则基于所述第二像素点的视差值替换所述第一像素点在所述视差图中的视差值；第二视差值替换单元，用于若所述第二像素点的数量与所述检测窗口内的像素点数量的比例小于或等于预设的比例阈值，按照预设的比例放大所述匹配窗口，基于放大后的匹配窗口确定所述第一像素点的最优代价函数，并用所述最优代价函数对应的视差值替换所述第一像素点在所述视差图中的视差值。由以上描述可以看出，本专利技术在检测为噪点的第一像素点对应的检测窗口中，统计视差值可信度较高(置信度值较小)且灰度值与第一像素点的灰度值接近的第二像素点的数量，当统计的第二像素点的数量占检测窗口中像素点总数量的比例较大时，说明检测窗口中灰度值与第一像素点的灰度值接近且视差值可信度较高的第二像素点的数量较多，其中，灰度值接近表明第一像素点与第二像素点位于同一物体上的可能性较大，即具有相同或相近视差值的可能性较大，因此，本专利技术利用视差值相同或相近且视差值可信度较高的第二像素点的视差值修补第一像素点的视差值，可提升修补后视差值的准确度；而当统计的第二像素点的数量占检测窗口中像素点总数量的比例较小时，即视差值相同或相近且视差值可信度较高的第二像素点的数量较少时，基于数量较少的第二像素点的视差值来修补第一像素点的视差值的准确度无法保证，因此，本专利技术针对第一像素点重新进行像素匹配，在原匹配窗口的基础上，按照预设比例放大匹配窗口，即增加匹配窗口中像素点的数量，提升匹配的准确度，进而利用根据放大后的匹配窗口确定的最优代价函数对应的视差值，来替换第一像素点的视差值，提升修补后视差值的准确度。附图说明图1是本专利技术实施例示出的一种修补视差图中噪点的方法流程图；图2是本专利技术实施例示出的像素点匹配示意图；图3A是本专利技术实施例示出的道路场景的基准图；图3B是本专利技术实施例示出的同一道路场景的匹配图；图3C是采用已有技术中的SGM算法获得的同一道路场景的视差图；图3D是本专利技术实施例示出的同一道路场景的修补后的视差图的示意图；图4是本专利技术实施例示出的放大匹配窗口后的像素点匹配示意图；图5是本专利技术实施例示出的双目立体视觉平台设备的结构示意图；图6是本专利技术实施例示出的另一种修补视差图中噪点的装置的结构示意图。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本专利技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本专利技术的一些方面相一致的装置和方法的例子。在本专利技术使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本专利技术。在本专利技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。应当理解，尽管在本专利技术可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本专利技术范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。本专利技术提供一种修补视差图中噪点的方法，该方法在噪点对应的检测窗口中，统计视差值置信度较高且灰度值与噪点的灰度值接近的第二像素点的数量，根据第二像素点的数量占检测窗口中像素点总数量的比例，采用不同的修补方式进行修补，以提升不同噪点修补后的视差值的准确度。参见图1，为本专利技术修补视差图中噪点的方法的一个实施例流程图，该实施例对修补视差图中噪点的过程进行描述。步骤101，采用两台深度相机拍摄同一场景的深度图，基于预设的匹配窗口确定所述深度图中像素点的代价函数，并基于所述代价函数确定所述场景的视差图。通过两台深度相机(亦称为双目摄像机)拍摄同一场景的深度图(包括左深度图和右深度图)，对左深度图和右深度图进行极线校正，得到两幅平行等位的深度图，以便后续像素匹配时在同一扫描线上查找匹配像素点。以SGM(Semi-GlobalMatching，半全局匹配)算法为例，该算法对校正后的左深度图和右深度图(左深度图和右深度图中一个为基准图，另一个为匹配图)进行像素匹配，参见图2，基准图中像素点p基于预设的匹配窗口与匹配图中与像素点p处于同一扫描线上的各像素点进行匹配，以匹配图中的像素点q为例，匹配过程即建立像素点p与像素点q之间的代价函数的过程，再利用能量函数对像素点p的视差值加以优化，最终确定基准图中像素点p的最优视差值。对基准图中的每一个像素点执行上述匹配及优化过程，得到基准图对应的视差图。参见图3A，为本专利技术实施例示出的一种道路场景的基准图，图3B为同一道路场景的匹配图，图3C为采用本文档来自技高网...

【技术保护点】
一种修补视差图中噪点的方法，其特征在于，所述方法包括：采用两台深度相机拍摄同一场景的深度图，基于预设的匹配窗口确定所述深度图中像素点的代价函数，并基于所述代价函数确定所述场景的视差图；若所述视差图中第一像素点为噪点，统计所述第一像素点的检测窗口中视差值的置信度值小于预设的第一置信度阈值、且灰度值与所述第一像素点的灰度值的差值小于预设的灰度阈值的第二像素点的数量；若所述第二像素点的数量与所述检测窗口内的像素点数量的比例大于预设的比例阈值，则基于所述第二像素点的视差值替换所述第一像素点在所述视差图中的视差值；若所述第二像素点的数量与所述检测窗口内的像素点数量的比例小于或等于预设的比例阈值，按照预设的比例放大所述匹配窗口，基于放大后的匹配窗口确定所述第一像素点的最优代价函数，并用所述最优代价函数对应的视差值替换所述第一像素点在所述视差图中的视差值。

【技术特征摘要】
1.一种修补视差图中噪点的方法，其特征在于，所述方法包括：采用两台深度相机拍摄同一场景的深度图，基于预设的匹配窗口确定所述深度图中像素点的代价函数，并基于所述代价函数确定所述场景的视差图；若所述视差图中第一像素点为噪点，统计所述第一像素点的检测窗口中视差值的置信度值小于预设的第一置信度阈值、且灰度值与所述第一像素点的灰度值的差值小于预设的灰度阈值的第二像素点的数量；若所述第二像素点的数量与所述检测窗口内的像素点数量的比例大于预设的比例阈值，则基于所述第二像素点的视差值替换所述第一像素点在所述视差图中的视差值；若所述第二像素点的数量与所述检测窗口内的像素点数量的比例小于或等于预设的比例阈值，按照预设的比例放大所述匹配窗口，基于放大后的匹配窗口确定所述第一像素点的最优代价函数，并用所述最优代价函数对应的视差值替换所述第一像素点在所述视差图中的视差值。2.如权利要求1所述的方法，其特征在于，所述若所述第二像素点的数量与所述检测窗口内的像素点数量的比例大于预设的比例阈值，则基于所述第二像素点的视差值替换所述第一像素点在所述视差图中的视差值，包括：若所述第二像素点的数量与所述检测窗口内的像素点数量的比例大于预设的比例阈值，确定第二像素点与第一像素点之间的距离权重值、灰度权重值、以及第二像素点的视差值的置信度权重值，其中，所述距离权重值与所述第二像素点和所述第一像素点之间的欧氏距离呈反相关关系，所述灰度权重值与所述第二像素点和所述第一像素点之间的灰度值的差值呈反相关关系，所述置信度权重值与所述第二像素点的视差值的置信度值呈反相关关系；基于所述距离权重值、所述灰度权重值、所述置信度权重值和所述第二像素点的视差值，替换所述第一像素点在所述视差图中的视差值。3.如权利要求2所述的方法，其特征在于，所述基于所述距离权重值、所述灰度权重值、所述置信度权重值和所述第二像素点的视差值，替换所述第一像素点在所述视差图中的视差值，包括：获取多个第二像素点的距离权重值、灰度权重值、置信度权重值分别与视差值的乘积的第一累加和；获取所述多个第二像素点的距离权重值、灰度权重值、置信度权重值的乘积的第二累加和；利用所述第一累加和与所述第二累加和的商，替换所述第一像素点在所述视差图中的视差值。4.如权利要求1所述的方法，其特征在于，所述若所述第二像素点的数量与所述检测窗口内的像素点数量的比例小于或等于预设的比例阈值，按照预设的比例放大所述匹配窗口，基于放大后的匹配窗口确定所述第一像素点的最优代价函数，并用所述最优代价函数对应的视差值替换所述第一像素点在所述视差图中的视差值，包括：若所述第二像素点的数量与所述检测窗口内的像素点数量的比例小于或等于预设的比例阈值，按照预设的比例放大所述匹配窗口；基于放大后的匹配窗口确定所述第一像素点的最优代价函数；若所述最优代价函数对应的视差值的置信度值小于预设的第二置信度阈值，用所述最优代价函数对应的视差值替换所述第一像素点在所述视差图中的视差值。5.如权利要求4所述的方法，其特征在于，若所述最优代价函数对应的视差值的置信度值大于或等于预设的第二置信度阈值，所述方法还包括：统计所述匹配窗口...

【专利技术属性】
技术研发人员：王智慧，田国会，
申请(专利权)人：海信集团有限公司，
类型：发明
国别省市：山东,37