用于高效深度图像变换的方法和设备技术

本文中揭示了用于深度相机图像重新映射的系统、设备和方法。可以接收来自深度相机的深度相机图像并且可以确定深度相机的物理位置。所述深度相机的物理位置可以是相对于另一个物理位置确定的，例如，彩色相机的物理位置。所述深度相机图像可以是根据与所述另一个物理位置相关联的处理顺序变换的。

Method and apparatus for efficient depth image transformation

Systems, apparatus, and methods for remapping deep camera images are disclosed herein. A depth camera image from a depth camera can be received and the physical position of the depth camera can be determined. The physical position of the depth camera may be determined with respect to another physical location, for example, the physical position of the color camera. The depth camera image may be transformed according to the order of processing associated with the other physical location.

【技术实现步骤摘要】
【国外来华专利技术】用于高效深度图像变换的方法和设备相关申请的交叉参考本申请主张2015年9月3日递交的标题为“用于高效深度图像变换的方法和设备”的第14/845,203号美国申请以及2014年9月5日递交的标题为“用于高效深度图像变换的方法和设备”的第62/046,860号美国临时申请的权益，所述申请以引用的方式并入本文中。
本文中所揭示的标的物大体上涉及深度相机输出图像处理。
技术介绍
移动或便携式装置通常包含广泛的特征集合以满足各种各样的使用需求。这些装置可以包括多种多样的用于记录环境数据的传感器，例如彩色图像相机传感器。另外，一些装置还包括深度相机传感器以俘获用于场景的对象距离信息。对于一些应用(例如，扩增实境)，深度图像信息可以用于映射环境中的3D对象。深度相机通常是放置在与彩色相机相比不同的但是附近的位置中的独立相机。因此，当深度相机和彩色相机在大致相同的时间触发时，深度相机和相机传感器通常从略微不同的视点俘获图像。在视点和其它因素(例如焦距、分辨率)中的细微的差异或在相机/传感器特性中的其它差异意味着可能发生一些类别的转变以便适当地将深度信息应用在彩色相机坐标系中。将深度信息应用于彩色相机坐标系是所期望的，这是因为扩增实境应用的输出通常利用场景的彩色相机图像作为用于扩增的基础。深度图像可以由2D坐标系中的像素组成，其中每个像素表示深度值或距离值。可以将来自深度相机的深度信息映射到彩色相机以辅助扩增实境应用。然而，扩增实境系统通常包括与彩色相机物理地隔开且不同于彩色相机的深度相机。因此，用于深度相机和彩色相机的相机视点将不是相同的匹配。举例来说，深度相机可以放置在相对于彩色相机(例如，集成到移动电话或其它装置中的)的左侧、右侧或某个方向。由于视差效应，深度相机的深度图可以具有用于在两个不同深度处的两个点的深度值，其中从彩色相机的角度，两个点中较近的点遮挡较远的点，并且因此彩色相机的图像仅俘获两个点中较近的点。当尝试将来自深度图的数据集成到通过彩色相机拍摄的彩色图像时，忽略此上文所描述的遮挡可产生输出错误并且影响用户体验。
技术实现思路
本文中所揭示的实施例可涉及一种用于深度相机图像变换的方法。所述方法可以包括接收来自深度相机的深度相机图像，并且根据深度相机相对于另一个物理位置的物理位置确定处理顺序，所述处理顺序用于将深度相机图像的点变换到在与另一个物理位置相关联的另一个坐标系中的深度图像中。所述方法还可以包括在不测试深度的情况下根据所确定的处理顺序将深度相机图像变换到另一个坐标系的坐标系中。本文中所揭示的实施例还可以涉及具有执行深度相机图像变换的指令的机器可读取非暂时性存储媒体。所述媒体可以包括接收来自深度相机的深度相机图像并且根据深度相机相对于另一个物理位置的物理位置确定处理顺序的指令，所述处理顺序用于将深度相机图像的点变换到在与另一个物理位置相关联的另一个坐标系中的深度图像中。所述媒体还可以包括在不测试深度的情况下根据所确定的处理顺序将深度相机图像变换到另一个坐标系的坐标系中的指令。本文中所揭示的实施例还可以涉及一种包括用于深度相机图像变换的装置的设备。所述设备可以包括用于接收来自深度相机的深度相机图像的装置以及用于根据深度相机相对于另一个物理位置的物理位置来确定处理顺序的装置，所述处理顺序用于将深度相机图像的点变换到在与另一个物理位置相关联的另一个坐标系中的深度图像中。所述设备还可以包括用于在不测试深度的情况下根据所确定的处理顺序将深度相机图像变换到另一个坐标系的坐标系中的装置。本文中所揭示的实施例可能进一步涉及移动装置，其包括处理器以及可配置以存储执行深度相机图像变换的指令的存储装置。所述装置可以包括接收来自深度相机的深度相机图像并且根据深度相机相对于另一个物理位置的物理位置确定处理顺序的指令，所述处理顺序用于将深度相机图像的点变换到在与另一个物理位置相关联的另一个坐标系中的深度图像中。所述装置还可以包括在不测试深度的情况下根据所确定的处理顺序将深度相机图像变换到另一个坐标系的坐标系中的指令。其它特征及优点将从附图及具体实施方式中显而易见。附图说明图1是一个实施例中的系统的框图，在所述系统中可以实践高效深度图像变换(EfficientDepthImageTransformation，EDIT)的方面；图2是在一个实施例中用于执行EDIT的方法；图3说明了在一个实施例中俘获包括目标对象的场景的装置；图4说明了在一个实施例中来自图3的深度相机图像；图5说明了在一个实施例中通过EDIT执行的可能的处理方向的样本；图6说明了在一个实施例中的运行环境，其中EDIT可以执行从右到左的深度相机图像处理；以及图7说明了在一个实施例中的一个运行环境，其中EDIT可以执行从下到上的深度相机图像处理。具体实施方式词语“示例性”或“实例”在本文中用于表示“充当实例、例子或说明”。本文中描述为“示例性”或描述为“实例”的任何方面或实施例未必应被解释为比其它方面或实施例优选或有利。如上文所介绍，如果不恰当地操纵，那么结合彩色/RGB(红色、绿色和蓝色)相机传感器使用深度相机传感器可以产生遮挡。校正两个相机遮挡的一种方法是将来自深度相机视点的深度数据映射到彩色相机视点。映射深度数据可以包括解除投影深度图数据、将深度图数据变换到新的视点以及再次投影深度图数据。作为典型的映射过程的一部分，当仅应当存储最近距离表项时，多个深度图样本可能落在同一像素处。确定应当存储哪一个像素的一个解决方法是测试表项是否已经存在于新的图中以及确定所述之前所存储的表项是否是更靠近的(确定遮挡)。本文中所介绍的确定遮挡也可被称为深度测试，这需要处理时间以完成对可能被遮挡的每个像素的处理。在一个实施例中，高效深度图变换(本文中简单地描述为“EDIT”)将深度图变换(例如，作为集成到例如下文描述的装置100的装置中的过程、模块、引擎或方法)为彩色相机坐标系同时考虑遮挡且没有清楚的像素存在和距离测试。在一个实施例中，EDIT俘获深度相机图像和彩色相机图像并且通过确定深度相机相对于另一个物理位置(例如，彩色相机的位置)的物理位置有效地处理深度相机图像。深度相机图像可以按照通过相对物理位置所确定的顺序被变换到彩色相机的坐标系中。举例来说，如果深度相机安装在彩色相机的右侧，那么EDIT可以按照从右到左的处理顺序变换来自深度相机图像的点，这种处理顺序在本文中也被描述为扫描顺序。其它物理位置也是可能的并且在下文进行更详细地描述。与先前技术相比点的变换可以快很多，因为不存在针对深度或遮挡的清楚的测试，或者在使用本文中描述的EDIT的技术的同时不需要此类测试。图1是说明其中可实践本专利技术的实施例的装置的框图。所述系统可以是装置100，其可以包括通用处理器161、EDIT模块170和存储器164。为了清晰起见EDIT模块170是与处理器161和/或硬件162分开示出的，但是EDIT模块170可以基于软件165和固件163中的指令组合在处理器161和/或硬件162中和/或在处理器161和/或硬件162中实施。控制单元160可经配置以实施执行如本文所述的EDIT的方法。举例来说，装置100和控制单元160可经配置以实施在下文的图2中所描述的过程。装置100可以是移动装置、无线装本文档来自技高网...

【技术保护点】
一种用于深度相机图像变换的方法，所述方法包括：从深度相机接收深度相机图像；根据所述深度相机的相对于另一个物理位置的物理位置确定用于将所述深度相机图像的点变换到在与所述另一个物理位置相关联的另一个坐标系中的深度图像中的处理顺序；以及在无需深度的测试的情况下，根据所述所确定的处理顺序将所述深度相机图像变换到所述另一个坐标系的所述坐标系中。

【技术特征摘要】
【国外来华专利技术】2014.09.05 US 62/046,860;2015.09.03 US 14/845,2031.一种用于深度相机图像变换的方法，所述方法包括：从深度相机接收深度相机图像；根据所述深度相机的相对于另一个物理位置的物理位置确定用于将所述深度相机图像的点变换到在与所述另一个物理位置相关联的另一个坐标系中的深度图像中的处理顺序；以及在无需深度的测试的情况下，根据所述所确定的处理顺序将所述深度相机图像变换到所述另一个坐标系的所述坐标系中。2.根据权利要求1所述的方法，其中所述另一个物理位置是彩色相机的物理位置。3.根据权利要求1所述的方法，其中所述处理顺序包括水平深度相机像素处理顺序。4.根据权利要求3所述的方法，其中所述水平深度相机像素处理顺序包括：当所述深度相机物理地定位在所述另一个物理位置的左侧时从左到右的深度相机像素处理顺序。5.根据权利要求3所述的方法，其中所述水平深度相机像素处理顺序包括：当所述深度相机物理地定位在所述另一个物理位置的右侧时从右到左的深度相机像素处理顺序。6.根据权利要求1所述的方法，其中所述处理顺序包括在垂直方向上前进之前完成第一行的水平深度相机像素处理以选择用于额外的水平深度相机像素处理的第二行。7.根据权利要求1所述的方法，其中所述处理顺序包括垂直深度相机像素处理顺序。8.根据权利要求7所述的方法，其中所述垂直深度相机像素处理顺序包括：当所述深度相机物理地定位在所述另一个物理位置下方时从下到上的深度相机像素处理顺序。9.一种用于显示图像的移动装置，所述移动装置包括：处理器；以及存储装置，其耦合到所述处理器并且可配置用于存储指令，所述指令在由所述处理器执行时使所述处理器进行以下操作：从深度相机接收深度相机图像；根据所述深度相机的相对于另一个物理位置的物理位置确定用于将所述深度相机图像的点变换到在与所述另一个物理位置相关联的另一个坐标系中的深度图像中的处理顺序；以及在无需深度的测试的情况下，根据所述所确定的处理顺序将所述深度相机图像变换到所述另一个坐标系的所述坐标系中。10.根据权利要求9所述的移动装置，其中所述另一个物理位置是彩色相机的物理位置。11.根据权利要求9所述的移动装置，其中所述处理顺序包括水平深度相机像素处理顺序。12.根据权利要求11所述的移动装置，其中所述水平深度相机像素处理顺序包括：当所述深度相机物理地定位在所述另一个物理位置的左侧时从左到右的深度相机像素处理顺序。13.根据权利要求11所述的移动装置，其中所述水平深度相机像素处理顺序包括：当所述深度相机物理地定位在所述另一个物理位置的右侧时从右到左的深度相机像素处理顺序。14.根据权利要求9所述的移动装置，其中所述处理顺...

【专利技术属性】
技术研发人员：丹尼尔·瓦格纳，亚历山德罗·穆洛尼，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国,US