一种修补视差图中噪点的方法及装置制造方法及图纸

本发明专利技术提供一种修补视差图中噪点的方法及装置，所述方法包括：采用两台深度相机拍摄同一场景的深度图，基于所述深度图计算所述场景的视差图；若所述视差图中第一像素点为噪点，则在深度图中所述第一像素点对应的检测窗口中，查找灰度值与所述第一像素点的灰度值的差值小于预设的灰度差值阈值的第二像素点；根据查找到的多个第二像素点的视差值重新确定所述视差图中第一像素点的视差值，以提升修补后视差值的准确度。

【技术实现步骤摘要】
一种修补视差图中噪点的方法及装置
本专利技术涉及计算机视觉
，尤其涉及一种修补视差图中噪点的方法及装置。
技术介绍
双目立体视觉技术是一种对双目摄像机拍摄的同一场景的深度图进行视差估计，确定三维空间场景深度的技术。在通过视差估计算法(例如，半全局匹配算法)得到的视差图中，往往存在大量噪点，这对后续操作及分析处理产生较大干扰。为了去除这些噪点，目前普遍利用噪点邻域范围内灰度值与噪点的灰度值最接近的像素点的视差值，来替换掉视差图中噪点处的视差值。这种利用单一像素的视差值修补噪点视差值的方法，过于简单，且修补后视差值的准确度不高。
技术实现思路
本专利技术的目的在于提供一种修补视差图中噪点的方法及装置，用以提升修补后视差值的准确度。为实现上述专利技术目的，本专利技术提供了如下技术方案：本专利技术提供一种修补视差图中噪点的方法，所述方法包括：采用两台深度相机拍摄同一场景的深度图，基于所述深度图计算所述场景的视差图；若所述视差图中第一像素点为噪点，则在深度图中所述第一像素点对应的检测窗口中，查找灰度值与所述第一像素点的灰度值的差值小于预设的灰度差值阈值的第二像素点；根据查找到的多个第二像素点的视差值重新确定所述视差图中第一像素点的视差值。本专利技术还提供一种修补视差图中噪点的装置，所述装置包括：视差图计算单元，用于采用两台深度相机拍摄同一场景的深度图，基于所述深度图计算所述场景的视差图；像素点查找单元，用于若所述视差图中第一像素点为噪点，则在深度图中所述第一像素点对应的检测窗口中，查找灰度值与所述第一像素点的灰度值的差值小于预设的灰度差值阈值的第二像素点；视差值确定单元，用于根据查找到的多个第二像素点的视差值重新确定所述视差图中第一像素点的视差值。由以上描述可以看出，本专利技术基于噪点邻域内灰度值与噪点灰度值接近的多个像素点的视差值，来重新确定噪点处的视差值，以提升修补后视差值的准确度。附图说明图1是本专利技术实施例示出的一种修补视差图中噪点的方法流程图；图2A是本专利技术实施例示出的道路场景的基准图；图2B是本专利技术实施例示出的同一道路场景的匹配图；图2C是采用已有技术中的SGM算法获得的同一道路场景的视差图；图2D是本专利技术实施例示出的同一道路场景的修补后的视差图的示意图；图3是本专利技术实施例示出的双目立体视觉平台设备的结构示意图；图4是本专利技术实施例示出的一种修补视差图中噪点的装置的结构示意图。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本专利技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本专利技术的一些方面相一致的装置和方法的例子。在本专利技术使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本专利技术。在本专利技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。应当理解，尽管在本专利技术可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本专利技术范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。视差估计是双目立体视觉技术的一个重要环节，是后续景深估计、三维空间重建的基础，因此，视差估计的准确性非常重要。在利用视差估计算法(例如，半全局匹配算法)得到的视差图中，往往存在大量的噪点。在删除和修补噪点时，可利用噪点邻域内灰度值与该噪点灰度值最接近的像素点的视差值(像素点间的灰度值越接近，位于同一物体上的可能性越大，具有相同视差值的可能性也就越大)，来直接替换掉噪点处的视差值，以达到去噪的目的。但是，该处理方式导致视差修补的准确度完全取决于选定的单一像素点的视差值，若该选定的像素点的视差值准确度不高，必然导致噪点修补后的视差值的准确度也不高。针对上述问题，本专利技术提出一种修补视差图中噪点的方法，该方法基于噪点邻域内灰度值与噪点灰度值接近的多个像素点的视差值，来修补噪点处的视差值，以提升修补后视差值的准确度。参见图1，为本专利技术修补视差图中噪点的方法的一个实施例流程图，该实施例对修补视差图中噪点的过程进行描述。步骤101，采用两台深度相机拍摄同一场景的深度图，基于所述深度图计算所述场景的视差图。通过两台深度相机(亦称为双目摄像机)拍摄同一场景的深度图(包括左深度图和右深度图)，对左深度图和右深度图进行极线校正，得到平行等位的两幅深度图，使匹配像素对处于同一扫描线上。以SGM(Semi-GlobalMatching，半全局匹配)算法为例，该算法利用校正后的左深度图和右深度图之间的像素匹配结果计算基准图(左深度图和右深度图中一个为基准图，另一个为匹配图)中每个像素点的视差值，并利用能量函数加以优化，最终确定基准图中每个像素点的最优视差，即得到基准图的视差图。如图2A所示为基准图，图2B所示为匹配图，图2C所示为计算得到的基准图的视差图，该视差图中存在大量噪点，尤其在物体边缘区域。步骤102，若所述视差图中第一像素点为噪点，则在深度图中所述第一像素点对应的检测窗口中，查找灰度值与所述第一像素点的灰度值的差值小于预设的灰度差值阈值的第二像素点。首先，对视差图进行噪点检测，将当前检测的像素点记为第一像素点，检查过程具体为，在视差图中第一像素点对应的检测窗口中，统计视差值与第一像素点的视差值的差值小于预设的视差差值阈值的第三像素点的数量，当统计的第三像素点的数量占检测窗口中所有像素点的总数量的比例小于预设的比例阈值时，说明检测窗口中视差值与第一像素点的视差值接近的像素点比较少，那么该第一像素点为噪点的可能性就非常大，因此，确定该第一像素点为噪点；反之，当统计的第三像素点的数量占检测窗口中所有像素点的总数量的比例大于或等于预设的比例阈值时，说明检测窗口中视差值与第一像素点的视差值接近的像素点较多，该第一像素点为物体表面正常像素点的可能性更大，因此，确定该第一像素不是噪点。举例说明，第一像素点为像素点p，给定检测窗口半径为r，在以像素点p为中心、半径为r的检测窗口中遍历所有像素点p'。在一种实施方式中，若像素点p'的视差值dp'与像素点p的视差值dp之间的视差差值|dp'-dp|小于预设的视差差值阈值dT，则将像素点p'作为第三像素点进行统计；在另一种实施方式中，可预设阈值调节系数λ1和λ2，例如，λ1∈[0,1)，λ2∈(1,2]，基于像素点p的视差值dp预设视差值匹配条件dp'∈[λ1dp,λ2dp]，其中，λ1dp为下限视差阈值，λ2dp为上限视差阈值，如果像素点p'的视差值dp'满足预设的视差值匹配条件，即像素点p'的视差值dp'位于下限视差阈值和上限视差阈值之间，则像素点p'作为第三像素点进行统计。若统计的所有第三像素点的数量占检测窗口中所有像素点总数量的5％，低于预设的比例阈值80％，则确定像素点p为噪点；若统计的所有第三像素点的数量占检测窗本文档来自技高网...

【技术保护点】
一种修补视差图中噪点的方法，其特征在于，所述方法包括：采用两台深度相机拍摄同一场景的深度图，基于所述深度图计算所述场景的视差图；若所述视差图中第一像素点为噪点，则在深度图中所述第一像素点对应的检测窗口中，查找灰度值与所述第一像素点的灰度值的差值小于预设的灰度差值阈值的第二像素点；根据查找到的多个第二像素点的视差值重新确定所述视差图中第一像素点的视差值。

【技术特征摘要】
1.一种修补视差图中噪点的方法，其特征在于，所述方法包括：采用两台深度相机拍摄同一场景的深度图，基于所述深度图计算所述场景的视差图；若所述视差图中第一像素点为噪点，则在深度图中所述第一像素点对应的检测窗口中，查找灰度值与所述第一像素点的灰度值的差值小于预设的灰度差值阈值的第二像素点；根据查找到的多个第二像素点的视差值重新确定所述视差图中第一像素点的视差值。2.如权利要求1所述的方法，其特征在于，确定所述视差图中第一像素点为噪点，具体包括：在视差图中所述第一像素点对应的检测窗口中，统计视差值与所述第一像素点的视差值的差值小于预设的视差差值阈值的第三像素点的数量；当统计的第三像素点的数量占所述检测窗口中所有像素点的总数量的比例小于预设的比例阈值时，确定所述第一像素点为噪点。3.如权利要求1或2所述的方法，其特征在于，所述根据查找到的多个第二像素点的视差值重新确定所述视差图中第一像素点的视差值，具体包括：确定第二像素点与第一像素点之间的距离权重值、灰度权重值、以及第二像素点的视差值的置信度权重值，其中，所述距离权重值与所述第二像素点和所述第一像素点之间的欧氏距离呈反相关关系，所述灰度权重值与所述第二像素点和所述第一像素点之间的灰度值的差值呈反相关关系，所述置信度权重值与所述第二像素点的视差值的置信度值呈反相关关系；根据所述距离权重值、所述灰度权重值、所述置信度权重值和所述第二像素点的视差值，确定所述视差图中第一像素点的视差值。4.如权利要求3所述的方法，其特征在于，所述根据所述距离权重值、所述灰度权重值、所述置信度权重值和所述第二像素点的视差值，确定所述视差图中第一像素点的视差值，具体包括：获取所述多个第二像素点的距离权重值、灰度权重值、置信度权重值分别与视差值的乘积的第一累加和；获取所述多个第二像素点的距离权重值、灰度权重值、置信度权重值的乘积的第二累加和；将所述第一累加和与所述第二累加和的商作为重新确定的所述第一像素点的视差值。5.如权利要求3所述的方法，其特征在于，所述确定第二像素点的视差值的置信度权重值，具体包括：获取所述第二像素点在不同视差值下的代价函数值；按照函数值从小到大的顺序，从获取的代价函数值中选择第一代价函数值和第二代价函数值；将所述第一代价函数值对应的视差值与所述第二代价函数值对应的视差值的差值，作为所述第二像素点的视差值的置信度值；根据所述第二像素点的视差值的置信度值确定第二像素点的视差值的置信度权重值，其中，所述置信度权重值与所述第二像素点的视差值的置信度值呈反相关关系。6.一种修补视差图中噪...

【专利技术属性】
技术研发人员：王智慧，田国会，
申请(专利权)人：海信集团有限公司，
类型：发明
国别省市：山东,37