用于产生具有不均匀码字图案的结构光深度图的系统和方法技术方案

本发明专利技术提供用于产生场景的深度图的系统、方法和装置。所述方法包括将包含多个光点的码字图案投影到所述场景上，所述多个光点包含以第一强度投影的第一组光点和以大于所述第一强度的第二强度投影的第二组光点。所述方法另外包括检测所述码字图案从所述场景的反射。所述方法另外包括以第一分辨率产生第一深度图层。所述方法另外包括以低于所述第一分辨率的第二分辨率产生第二深度图层。所述方法另外包括产生所述场景的所述深度图，其中所述深度图包含根据所述第一深度图层和所述第二深度图层中的每一个的所述场景的深度信息。

System and method for generating structured light depth map with non-uniform codeword pattern

The invention provides a system, a method and a device for generating a depth map of a scene. The method includes projecting a codeword pattern containing a plurality of light points onto the scene, the plurality of light points comprising a first group of light points projected at a first intensity and a second group of light points projected at a second intensity greater than the first intensity. The method further includes detecting the reflection of the codeword pattern from the scene. The method further includes generating a first depth layer at a first resolution. The method further includes generating a second depth layer at a second resolution lower than the first resolution. The method further includes generating the depth map of the scene, wherein the depth map includes depth information of the scene according to each of the first depth layer and the second depth layer.

【技术实现步骤摘要】
【国外来华专利技术】用于产生具有不均匀码字图案的结构光深度图的系统和方法
本公开大体上涉及用于光场投影的系统和方法，且更具体地说，涉及深度图产生。
技术介绍
结构光系统可将码字图案发射到包含一或多个对象的场景上并且接收码字图案以产生深度图。对象距离结构光系统的投影器和接收器越远，对象反射的码字图案上的光点与所投影码字图案上的光点的原始位置之间的视差越小，这是因为传出投影与传入投影更加平行。相反地，对象越靠近投影器和接收器，所反射码字图案光点的位置与其在所投影码字图案中的原始位置之间的视差越大。鉴于此，结构光系统确定这类视差以产生场景或对象的相对深度信息。此后，结构光系统使用相对深度信息产生场景的深度图或三维表示。深度图提取适用于范围从相机质量增强到计算机视觉的许多应用。产生深度图从计算方面来说可为昂贵的。一般来说，随着深度图质量(分辨率)增加，结构光系统电力消耗增加。此外，为增加深度图感测距离(增加深度)，结构光系统激光强度要求且因此功率要求也增加。结构光系统设计者使质量和深度等级与结构光系统功率要求达到平衡。因为计算时间仍然是产生深度图的结构光系统进行商业化的主要障碍且因为对深度图的深度值和质量等级的期望持续增加，所以需要结构光系统能够使功率效率、深度图分辨率和深度图距离全部达到高等级。
技术实现思路
本专利技术的系统、方法和装置各自具有若干方面，其中无单一方面单独地负责其合乎需要的属性。在不限制如由所附权利要求书表达的本专利技术的范围的情况下，现将简要地论述一些特征。在考虑此论述之后，且尤其是在阅读名为“具体实施方式”的章节之后，将理解本专利技术的特征如何提供包含改进具有码字图案的结构光深度图的产生的优点。在附图和以下描述中阐述本说明书中描述的标的物的一或多个实施方案的细节。其它特征、方面和优点将从所述描述、图式和权利要求书中变得显而易见。应注意，以下各图的相对尺寸可能未按比例绘制。本申请案的一个方面提供用于产生场景的深度图的方法。所述方法包括将包含多个光点的码字图案投影到所述场景上，所述多个光点包含以第一强度投影的第一组光点和以大于所述第一强度的第二强度投影的第二组光点。所述方法另外包括检测所述码字图案从所述场景的反射。所述方法另外包括以第一分辨率产生第一深度图层。所述方法另外包括以低于所述第一分辨率的第二分辨率产生第二深度图层。所述方法另外包括产生所述场景的所述深度图，其中所述深度图包含根据所述第一深度图层和所述第二深度图层中的每一个的所述场景的深度信息。本申请案的另一方面提供一种用于产生场景的深度图的设备。所述设备包括：投影器，其被配置成将包含多个光点的码字图案投影到所述场景上，所述多个光点包含以第一强度投影的第一组光点和以大于所述第一强度的第二强度投影的第二组光点。所述设备另外包括接收器，其被配置成检测所述码字图案从所述场景的反射。所述设备另外包括处理器，其被配置成：以第一分辨率产生第一深度图层；以低于所述第一分辨率的第二分辨率产生第二深度图层；和产生所述场景的所述深度图，其中所述深度图包含根据所述第一深度图层和所述第二深度图层中的每一个的所述场景的深度信息。本申请案的另一方面提供一种用于产生场景的深度图的设备。所述设备包括用于将包含多个光点的码字图案投影到所述场景上的装置，所述多个光点包含以第一强度投影的第一组光点和以大于所述第一强度的第二强度投影的第二组光点。所述设备另外包括用于检测所述码字图案从所述场景的反射的装置。所述设备另外包括用于以第一分辨率产生第一深度图层的装置，其中所述用于产生的装置另外以低于所述第一分辨率的第二分辨率产生第二深度图层。在一方面中，所述用于产生的装置另外产生所述场景的所述深度图，其中所述深度图包含根据所述第一深度图层和所述第二深度图层中的每一个的所述场景的深度信息。本申请案的又一方面提供一种包括代码的非暂时性计算机可读媒体，所述代码在被执行时致使设备的处理器将包含多个光点的码字图案投影到场景上，所述多个光点包含以第一强度投影的第一组光点和以大于所述第一强度的第二强度投影的第二组光点。所述代码在被执行时另外致使所述设备的所述处理器检测所述码字图案从所述场景的反射；以第一分辨率产生第一深度图层。所述代码在被执行时另外致使所述设备的所述处理器以低于所述第一分辨率的第二分辨率产生第二深度图层。所述代码在被执行时另外致使所述设备的所述处理器产生所述场景的深度图，其中所述深度图包含根据所述第一深度图层和所述第二深度图层中的每一个的所述场景的深度信息。附图说明图1说明可采用本公开的方面的结构光系统的实例。图2说明可采用本公开的方面的结构光系统的实例。图3是用于根据一或多个实施例将码字图案投影到场景上的实例投影器的框图。图4是用于根据一或多个实施例检测码字图案从场景的反射的实例接收器的框图。图5说明具有单个均匀光点强度的结构光图案。图6说明根据本文中所描述的一或多个实施例的具有空间变化光点强度的结构光图案。图7说明根据一或多个实施例的与结构光图案投影到场景上的视场比照的第一深度图层和第二深度图层的一组强度曲线图。图8说明根据一或多个实施例，与具有空间变化光斑强度的结构光图案依据第一组光点、第二组光点和第三组光点投影到场景上的视场比照的实例第一深度图层、第二深度图层和第三深度图层的第一度、第二度和第三强度的曲线图。图9说明根据一或多个实施例的在由具有均匀光斑强度的结构光图案产生的深度图与由空间变化光斑强度的结构光图案产生的深度图之间的比较。图10是根据示范性实施例的用于产生场景的深度图的流程图。具体实施方式下文参考附图更充分地描述新颖系统、设备、方法和媒体的各个方面。然而，教示公开内容可以许多不同形式来体现，且不应被解释为限于在整个本公开中所呈现的任何特定结构或功能。而是，提供这些方面以使得本公开将透彻且完整，且将向所属领域的技术人员完整传达本公开的范围。基于本文中的教示，所属领域的技术人员应了解，本公开的范围意在涵盖本文公开的新颖系统、设备和方法的任何方面，而不管所述方面是独立于本专利技术的任何其它方面实施还是与本专利技术的任何其它方面组合实施。举例来说，可使用本文中所阐述的任何数目个方面来实施设备或实践方法。另外，本专利技术的范围意在涵盖使用作为本文中所阐述的本专利技术的各个方面的补充或替代的其它结构、功能性或结构与功能性来实践的这类设备或方法。应理解，可通过权利要求的一或多个要素来体现本文中所公开的任何方面。虽然本文中描述了特定方面，但这些方面的许多变化和排列落在本公开的范围内。虽然提及了优选方面的一些益处和优点，但本公开的范围并不意图限于特定益处、用途或目标。而是，本公开的方面意在广泛地适用于不同无线技术、系统配置、网络和传输协议，其中的一些是借助于实例在图中以及在优选方面的以下描述中进行说明。详细描述和图式仅是对本公开的说明而非限制，本公开的范围是由所附权利要求书和其等效物界定。一般来说，本公开涉及用于光场投影和分析的技术。更具体地，本公开涉及用于基于对投影到场景上的本文档来自技高网...

【技术保护点】
1.一种用于产生场景的深度图的方法，其包括：/n将包含多个光点的码字图案投影到所述场景上，所述多个光点包含以第一强度投影的第一组光点和以大于所述第一强度的第二强度投影的第二组光点；/n检测所述码字图案从所述场景的反射；/n以第一分辨率产生第一深度图层；/n以低于所述第一分辨率的第二分辨率产生第二深度图层；和/n产生所述场景的所述深度图，其中所述深度图包含根据所述第一深度图层和所述第二深度图层中的每一个的所述场景的深度信息。/n

【技术特征摘要】
【国外来华专利技术】20170505 US 15/588,4681.一种用于产生场景的深度图的方法，其包括：
将包含多个光点的码字图案投影到所述场景上，所述多个光点包含以第一强度投影的第一组光点和以大于所述第一强度的第二强度投影的第二组光点；
检测所述码字图案从所述场景的反射；
以第一分辨率产生第一深度图层；
以低于所述第一分辨率的第二分辨率产生第二深度图层；和
产生所述场景的所述深度图，其中所述深度图包含根据所述第一深度图层和所述第二深度图层中的每一个的所述场景的深度信息。


2.根据权利要求1所述的方法，其中将所述码字图案投影到所述场景上包括从投影器发射所述码字图案，且其中：
所述第一深度图层包括根据第一距离基于以所述第一强度投影所述第一组光点的所述场景的表示；且
所述第二深度图层包括根据第二距离基于以所述第二强度投影所述第二组光点的所述场景的表示。


3.根据权利要求2所述的方法，其中所述第二组光点布置于各自包含峰值强度位置的多个群组中，所述方法另外包括：
确定所述所投影码字图案中的所述第一组光点和第二组光点中的一或多个光点的位置与所述码字图案的所述反射中的对应光点的位置之间的一或多个光点距离，其中产生所述第一深度图层另外基于所述所确定的光点距离；和
确定所述所投影码字图案中的所述多个群组中的一或多个的峰值强度位置与所述码字图案的所述反射中的对应峰值强度位置之间的一或多个群组峰值距离，其中产生所述第二深度图层另外基于所述所确定的群组峰值距离。


4.根据权利要求3所述的方法，其中所述多个光点包含以大于所述第二强度的第三强度投影的第三组光点，所述方法另外包括：
基于所述第三组光点在所述所投影码字图案中和所述码字图案的所述反射中的位置来确定一或多个额外距离；和
基于所述所确定的额外距离，以第三分辨率产生第三深度图层，且
其中所述深度图包含根据所述第一深度图层、第二深度图层和第三深度图层中的每一个的所述场景的深度信息。


5.根据权利要求3所述的方法，其中：
所述投影器位于第一位置，且其中将所述码字图案投影到所述场景上包括从所述投影器发射所述码字图案；
所述接收器位于第二位置，且其中检测所述码字图案的所述反射包括在所述接收器处接收所述码字图案；
所述一或多个光点距离和所述一或多个群组峰值距离是所述第一位置与所述第二位置之间的差异的结果；且
产生所述第一深度图层和第二深度图层是基于根据所述一或多个光点距离和所述一或多个群组峰值距离三角测量码字位置。


6.根据权利要求1所述的方法，其中检测所述码字图案从所述场景的所述反射包括在接收器处感测所述所反射码字图案，其中所述感测包含：
基于以所述第一强度投影所述第一组光点，在距所述接收器第一距离处检测所述第一组光点；和
基于以所述第二强度投影所述第二组光点，在距所述接收器第二距离处检测所述第二组光点。


7.根据权利要求1所述的方法，其中将所述码字图案投影到所述场景上包括从电耦合到结构光模块的投影器发射所述码字图案，且其中所述所投影码字图案对应于存储于所述投影器处的固定掩模图案。


8.根据权利要求1所述的方法，其中将所述码字图案投影到所述场景上包括从投影器发射所述码字图案，且其中：
所述码字图案包括总数目的光点；
包含在所述第一组光点中的光点的数目等于第一值；
包含在所述第二组光点中的光点的数目等于第二值；
所述第一值和所述第二值的总和等于所述光点总数目；且
同时从所述投影器投影包含在所述第一组光点和第二组光点中的所述光点中的每一个。


9.一种用于产生场景的深度图的设备，所述设备包括：
投影器，其被配置成将包含多个光点的码字图案投影到所述场景上，所述多个光点包含以第一强度投影的第一组光点和以大于所述第一强度的第二强度投影的第二组光点；
接收器，其被配置成检测所述码字图案从所述场景的反射；和
处理器，其被配置成：
以第一分辨率产生第一深度图层；
以低于所述第一分辨率的第二分辨率产生第二深度图层；和
产生所述场景的所述深度图，其中所述深度图包含根据所述第一深度图层和所述第二深度图层中的每一个的所述场景的深度信息。


10.根据权利要求9所述的设备，其中将所述码字图案投影到所述场景上包括从所述投影器发射所述码字图案，且其中：
所述第一深度图层包括根据第一距离基于以所述第一强度投影所述第一组光点的所述场景的表示；且
所述第二深度图层包括根据第二距离基于以所述第二强度投影所述第二组光点的所述场景的表示。


11.根据权利要求10所述的设备，其中所述第二组光点布置于各自包含峰值强度位置的多个群组中，且所述处理器被进一步配置成：
确定所述所投影码字图案中的所述第一组光点和第二组光点中的一或多个光点的位置与所述码字图案的所述反射中的对应光点的位置之间的一或多个光点距离，其中产生所述第一深度图层另外基于所述所确定的光点距离；和
确定所述所投影码字图案中的所述多个群组中的一或多个的峰值强度位置与所述码字图案的所述反射中的对应峰值强度位置之间的一或多个群组峰值距离，其中产生所述第二深度图层另外基于所述所确定的群组峰值距离。


12.根据权利要求11所述的设备，其中所述多个光点包含以大于所述第二强度的第三强度投影的第三组光点，且其中所述处理器被进一步配置成：
基于所述第三组光点在所述所投影码字图案中和所述码字图案的所述反射中的位置来确定一或多个额外距离；和
基于所述所确定的额外距离，以第三分辨率产生第三深度图层，且
其中产生所述场景的所述深度图，其中所述深度图包含根据所述第一深度图层、第二深度图层和第三深度图层中的每一个的所述场景的深度信息。


13.根据权利要求11所述的设备，其中：
所述投影器位于第一位置，且其中将所述码字图案投影到所述场景上包括从所述投影器发射所述码字图案；
所述接收器位于第二位置，且其中检测所述码字图案的所述反射包括在所述接收器处接收所述码字图案；
所述一或多个光点距离和所述一或多个群组峰值距离是所述第一位置与所述第二位置之间的差异的结果；且
产生所述第一深度图层和第二深度图层是基于根据所述一或多个光点距离和所述一或多个群组峰值距离三角测量码字位置。


14.根据权利要求9所述的设备，其中检测所述码字图案从所述场景的所述反射包括在所述接收器处感测所述所反射码字图案，其中所述感测包含：
基于以所述第一强度投影所述第一组光点，在距所述接收器第一距离处检测所述第一组光点；和
基于以所述第二强度投影所述第二组光点，在距所述接收器第二距离处检测所述第二组光点。


15.根据权利要求9所述的设备，其中所述投影器电耦合到结构光模块，且其中所述所投影码字图案对应于存储于所述投影器处的固定掩模图案。


16.根据权利要求9所述的设备，其中将所述码字图案投影到所述场景上包括从所述投影器发射所述码字图案，且其中：
所述码字图案包括总数目的光点；
包含在所述第一组光点中的光点的数目等于第一值；
包含在所述第二组光点中的光点的数目等于第二值；
所...

【专利技术属性】
技术研发人员：A·J·林德纳，K·M·阿塔纳索夫，J·W·纳什，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US