用于结构光深度图的离群值检测和校正的方法和设备技术

本发明专利技术公开用于校正由结构光系统产生的深度图中的错误的系统和方法。在一个方面，一种方法包含将深度图分为若干节段，以及计算每一节段的深度值的密度分布。所述方法包含通过确定落在深度值范围之外的所述深度值来检测错误(或“离群”)值，所述深度值范围表示给定节段的最高密度深度值。所述方法包含基于每一节段的密度分布值来整体检测所述深度图中的错误值。

【技术实现步骤摘要】
【国外来华专利技术】用于结构光深度图的离群值检测和校正的方法和设备
本公开大体上涉及用于检测和校正结构光深度图不一致的系统和方法。
技术介绍
结构光系统发射和接收光图案或空间代码，以产生深度图。对象距发射器和接收器越远，接收到的投影在接收器处距其原始位置越近，这是因为传出投影和传入投影是更为平行的。相反地，对象距发射器和接收器越近，接收到的投影在接收器处距其原始位置越远。因此，接收到的码字位置与所发射的码字位置之间的差别给出了场景或对象的深度。结构光系统使用这些相对深度来产生场景的深度图或三维表示。深度图提取对范围从相机质量增强到计算机视觉的许多应用至关重要。场景中的反射性或透明表面可呈现挑战。举例来说，反射可导致光反射远离接收器或正好到其光学元件中。在两种情况下，可超出结构光系统的动态范围。透明或半透明表面也导致困难，以及可使所发射的码字的恰当检测妥协的双反射和帧间反射。并且，半透明材料，例如皮肤、大理石、蜡、植物和人体组织可导致表面下散射。在情况下，需要检测和校正深度图中的离群值，以提供深度图的准确产生。
技术实现思路
本公开的样本方面的概述如下。为了方便起见，本公开的一或多个方面在本文中可被简单地称为“一些方面”。本文中所揭示的方法和设备或装置各自具有若干方面，所述方面中的任何单一者均不独自负责其所需属性。在不限制(例如)如由以下权利要求书所表示的本专利技术的范围的情况下，现将简要地讨论其较显著的特征。根据一个方面，提供一种用于校正深度图中的错误的设备。所述设备可包含发射器，其经配置以投影所投影视野中的多个码字。所述设备可包含接收器，其经配置以接收所投影码字从所投影视野中的表面的反射。所述设备可包含错误校正电路，其经配置以：基于所述接收到的所投影码字的反射来产生深度图；将所述深度图分成多个节段；确定所述节段中的每一者中的下部分位数深度值和上部分位数深度值；基于(i)所述节段的下部分位数深度值的最小值和(ii)所述节段的上部分位数深度值的最大值，产生全局深度范围；识别深度图中的离群深度值；以及基于所述深度图中的信息来校正所述离群深度值。对于一些实施例，基于(i)直方图分位数演算和(ii)均值和方差演算中的至少一者，来确定上部分位数深度值和下部分位数深度值，所述演算中的每一者是基于每一节段中的深度值范围以及所述深度值范围的连续子集，所述连续子集表示所述片段中的深度值的密度。对于一些实施例，所述深度值范围的所述连续子集包括下部分位数深度值和上部分位数深度值，所述下部分位数深度值是所述连续子集内的最低深度值，且所述上部分位数是所述连续子集中的最高深度值。对于一些实施例，投影所述多个码字包含传播光通过代码掩码，所述代码掩码具有多个符号。对于一些实施例，识别深度图中的离群深度值包括检测深度图中在全局深度范围之外的深度值。对于一些实施例，所述多个节段包括所述深度图的重叠区。对于一些实施例，校正所述离群深度值包含：确定与所述离群深度值相邻的多个深度值，所述多个深度值在所述全局深度范围内；基于所述多个深度值计算第一深度值；以及用所述第一深度值来代替离群深度值。对于一些实施例，第一深度值是所述多个深度值的平均值。对于一些实施例，校正所述离群深度值包含：确定与离群深度值相邻的多个深度值，所述多个深度值在全局深度范围内；计算所述相邻深度值的水平梯度和垂直梯度中的至少一者；基于所述水平梯度和所述垂直梯度中的所述至少一者计算第一深度值；以及用所述第一深度值来代替所述离群深度值。在一些实施例中，所述多个节段中的每一节段的大小是用户可配置的。根据另一方面，提供一种可由深度映射系统操作的校正深度图中的错误的方法。所述方法可进一步包含经由发射器来投影所投影视野中的多个码字。所述方法可进一步包含：在接收器处接收所投影码字从所述所投影视野中的表面的反射。所述方法可进一步包含经由错误校正电路，基于所述接收到的所投影码字的反射来产生深度图。所述方法可进一步包含经由错误校正电路，将所述深度图分成多个节段。所述方法可进一步包含经由错误校正电路，确定所述节段中的每一者中的下部分位数深度值和上部分位数深度值。所述方法可进一步包含经由错误校正电路，基于(i)所述节段的下部分位数深度值的最小值和(ii)所述节段的上部分位数深度值的最大值，产生全局深度范围。所述方法可进一步包含经由错误校正电路，识别所述深度图中的离群深度值。所述方法可进一步包含经由错误校正电路，基于所述深度图中的信息来校正离群深度值。对于一些实施例，所述方法可包含：基于(i)直方图分位数演算和(ii)均值和方差演算中的至少一者，来确定上部分位数深度值和下部分位数深度值，所述演算中的每一者是基于每一节段中的深度值范围以及所述深度值范围的连续子集，所述连续子集表示所述片段中的深度值的密度。对于一些实施例，所述深度值范围的所述连续子集包括下部分位数深度值和上部分位数深度值，所述下部分位数深度值是所述连续子集内的最低深度值，且所述上部分位数是所述连续子集中的最高深度值。对于一些实施例，投影所述多个码字包括传播光通过代码掩码，所述代码掩码具有多个符号。对于一些实施例，识别深度图中的离群深度值包括检测深度图中在全局深度范围之外的深度值。对于一些实施例，所述多个节段包括所述深度图的重叠区。对于一些实施例，校正所述离群深度值包含：确定与所述离群深度值相邻的多个深度值，所述多个深度值在所述全局深度范围内；基于所述多个深度值计算第一深度值；以及用所述第一深度值来代替离群深度值。对于一些实施例，第一深度值是所述多个深度值的平均值。对于一些实施例，校正所述离群深度值可包含：确定与离群深度值相邻的多个深度值，所述多个深度值在全局深度范围内；计算所述相邻深度值的水平梯度和垂直梯度中的至少一者；基于所述水平梯度和所述垂直梯度中的所述至少一者计算第一深度值；以及用所述第一深度值来代替所述离群深度值。在一些实施例中，所述多个节段中的每一节段的大小是用户可配置的。根据另一方面，提供一种用于校正深度图中的错误的设备。所述设备可包含用于投影所投影视野中的多个码字的装置。所述设备可包含用于接收所投影码字从所投影视野中的表面的反射的装置。所述设备可包含用于基于所述接收到的所投影码字的反射来产生深度图的装置。所述设备可包含用于将所述深度图分成多个节段的装置。所述设备可包含用于确定所述节段中的每一者中的下部分位数深度值和上部分位数深度值的装置。所述设备可包含用于基于(i)所述节段的下部分位数深度值的最小值和(ii)所述节段的上部分位数深度值的最大值产生全局深度范围的装置。所述设备可包含用于识别所述深度图中的离群深度值的装置。所述设备可包含用于基于深度图中的信息来校正离群深度值的装置。根据另一方面，提供一种非暂时性计算机可读媒体，其包括指令，所述指令当由装置执行时，致使所述装置经由发射器，投影所投影视野中的多个码字。还可致使所述装置：在接收器处接收所投影码字从所述所投影视野中的表面的反射。还可致使所述装置经由错误校正系统，基于所述接收到的所投影码字的反射来产生深度图。还可致使所述装置经由错误校正系统，将所述深度图分成多个节段。还可致使所述装置经由错误校正系统，确定所述节段中的每一者中的下部分位数深度值和上部分位数深度值。还可致使所述装置经由错误校正本文档来自技高网...

【技术保护点】
1.一种用于校正深度图中的错误的设备，所述设备包括：发射器，其经配置以投影所投影视野中的多个码字；接收器，其经配置以接收所述所投影码字从所述所投影视野中的表面的反射；以及错误校正电路，其经配置以：基于所述接收到的所述所投影码字的反射产生所述深度图；将所述深度图分为多个节段；确定所述节段中的每一者中的下部分位数深度值和上部分位数深度值；基于(i)所述节段的下部分位数深度值的最小值和(ii)所述节段的上部分位数深度值的最大值，产生全局深度范围；识别所述深度图中的离群深度值；以及基于所述深度图中的信息来校正所述离群深度值。

【技术特征摘要】
【国外来华专利技术】2015.12.22 US 62/387,377;2016.03.14 US 15/069,7511.一种用于校正深度图中的错误的设备，所述设备包括：发射器，其经配置以投影所投影视野中的多个码字；接收器，其经配置以接收所述所投影码字从所述所投影视野中的表面的反射；以及错误校正电路，其经配置以：基于所述接收到的所述所投影码字的反射产生所述深度图；将所述深度图分为多个节段；确定所述节段中的每一者中的下部分位数深度值和上部分位数深度值；基于(i)所述节段的下部分位数深度值的最小值和(ii)所述节段的上部分位数深度值的最大值，产生全局深度范围；识别所述深度图中的离群深度值；以及基于所述深度图中的信息来校正所述离群深度值。2.根据权利要求1所述的设备，其中基于以下各项中的至少一者来确定所述上部分位数深度值和所述下部分位数深度值：(i)直方图分位数演算和(ii)均值和方差演算，所述演算中的每一者基于每一节段中的深度值范围和所述深度值范围的连续子集，所述连续子集表示所述节段中的深度值的密度。3.根据权利要求2所述的设备，其中范围深度值的所述连续子集包括所述下部分位数深度值和所述上部分位数深度值，所述下部分位数深度值是所述连续子集内的最低深度值，且所述上部分位数是所述连续子集中的最高深度值。4.根据权利要求1所述的装置，其中所述发射器经由传播光通过代码掩码来投影所述多个码字，所述代码掩码具有多个符号。5.根据权利要求1所述的装置，其中所述错误校正电路经由检测所述深度图中在所述全局深度范围之外的深度值，来识别所述深度图中的所述离群深度值。6.根据权利要求1所述的装置，其中所述多个节段包括所述深度图的重叠区。7.根据权利要求1所述的装置，其中所述错误校正电路经由以下步骤来校正所述离群深度值：确定与所述离群深度值相邻的多个深度值，所述多个深度值在所述全局深度范围内；基于所述多个深度值来计算第一深度值；以及用所述第一深度值来替换所述离群深度值。8.根据权利要求7所述的设备，其中所述第一深度值是所述多个深度值的平均值。9.根据权利要求1所述的装置，其中所述错误校正电路经由以下步骤来校正所述离群深度值：确定与所述离群深度值相邻的多个深度值，所述多个深度值在所述全局深度范围内；计算所述相邻深度值的水平梯度和垂直梯度中的至少一者；基于所述水平梯度和所述垂直梯度中的所述至少一者来计算第一深度值；以及用所述第一深度值来替换所述离群深度值。10.根据权利要求1所述的装置，其中所述多个节段中的每一节段的大小是用户可配置的。11.一种可由深度映射系统操作的用于校正深度图中的错误的方法，其包括：经由发射器，投影所投影视野中的多个码字；在接收器处，接收所述所投影码字从所述所投影视野中的表面的反射；经由错误校正电路，基于所述接收到的所述所投影码字的反射产生所述深度图；经由所述错误校正电路，将所述深度图分成多个节段；经由所述错误校正电路，确定所述节段中的每一者中的下部分位数深度值和上部分位数深度值；经由所述错误校正电路，基于(i)所述节段的下部分位数深度值的最小值和(ii)所述节段的上部分位数深度值的最大值，产生全局深度范围；经由所述错误校正电路，识别所述深度图中的离群深度值；以及经由所述错误校正电路，基于所述深度图中的信息来校正所述离群深度值。12.根据权利要求11所述的方法，其中基于以下各项中的至少一者来确定所述上部分位数深度值和所述下部分位数深度值：(i)直方图分位数演算和(ii)均值和方差演算，所述演算中的每一者基于每一节段中的深度值范围和所述深度值范围的连续子集，所述连续子集表示所述节段中的深度值的密度。13.根据权利要求12所述的方法，其中范围深度值的所述连续子集包括所述下部分位数深度值和所述上部分位数深度值，所述下部分位数深度值是所述连续子集内的最低深度值，且所述上部分位数是所述连续子集中的最高深度值。14.根据权利要求11所述的方法，其中投影所述多个码字包括传播光通过代码掩码，所述代码掩码具有多个符号。15.根据权利要求11所述的方法，其中识别所述深度图中的所述离群深度值包括检测所述深度图中在所述全局深度范围之外的深度值。16.根据权利要求11所述的方法，其中所述多个节段包括所述深度图的重叠区。17.根据权利要求11所述的方法，其中校...

【专利技术属性】
技术研发人员：A·J·林德纳，K·M·阿塔纳索夫，S·M·维罗尔，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国,US