飞行时间深度成像制造技术

本发明专利技术涉及飞行时间深度成像。提供了用于确定到对象的深度的技术。可基于两个光强度图像来确定深度图像。这一技术可以补偿视野中的对象的反射率的差异。然而，这两个光强度图像中的像素之间可能存在某种未对准。可以使用迭代过程来减轻对光强度图像之间的精确匹配的需求。该迭代过程可涉及基于从这两个光强度图像生成的深度图像的经平滑的版本来修改光强度图像之一。随后，基于经修改的图像和另一光强度图像来确定深度图像的新值。从而，两个光强度图像之间的像素未对准可得到补偿。

【技术实现步骤摘要】

本专利技术涉及深度成像，尤其涉及飞行时间深度成像。技术背景深度相机系统获得关于人或其他对象在物理空间内的位置的数据。该相机具有一个或多个传感器，这些传感器具有收集光强度的像素。深度值可以根据光强度来确定。例如，来自两个传感器的光强度数据可被相关并且可确定每一像素的深度值。深度值可被输入到计算系统内的应用来用于各种各样的应用。可以有许多应用，例如用于军事、娱乐、体育和医学目的。例如，关于人的深度值可被映射到三维(3-D)人类骨架模型并用于创建动画人物或化身。为了确定深度值，深度相机可以将光投射到该相机的视野中的对象上。光从该对象反射并且反射回该相机中的收集光强度的一个或多个图像传感器。这些传感器可以是例如CCD或CMOS传感器。这些传感器可包括像素阵列，使得每一像素基于有多少光子到达该像素来随时间累计光强度。各像素处的光强度可被处理以确定深度值。一种用于确定到对象的距离的技术基于光的往返飞行时间。然而，对象的反射率的差异可能导致问题。例如，处于同一距离处但具有不同反射率的两个对象将造成传感器处的不同光强度读数。为了克服这一问题以及其他问题，一些技术执行两种不同的深度测量并对结果进行组合。这两种不同的深度测量可以使用同一传感器，但在不同的时间进行测量。因此，在传感器捕捉测量结果的时间之间可能存在对象 (或相机)运动。或者，使用两个传感器允许同时进行深度测量。然而，这两个传感器需要被置于不同的物理位置，这会导致视差差数。从这两个测量收集的数据需要被相关(或匹配)以创建单个深度值。然而，两个深度测量中的上述差数可能使得难以将深度测量进行相关或导致不准确性。另外，深度相机可能受到噪声深度测量的损害。例如，可存在可与从对象反射的光一起被收集的一些背景光。噪声可能以多种其他方式而产生。因此，需要进一步的改进以允许对深度相机的视野内对象的深度进行更准确的确定。该技术应与现有的深度检测相机兼容。
技术实现思路
提供了用于确定到电子设备的视野内的对象的深度或距离的技术。基于在不同的位置或时间收集的两个光强度图像来确定深度图像。基于两个光强度图像生成深度图像可以补偿视野中的对象的反射率的差异。可以使用迭代过程来减轻对光强度图像之间的精确匹配的需求。从而，两个光强度图像之间的像素未对准可得到补偿。同样，该迭代过程可以补偿光强度图像中的噪声。因此，可以使用来自多个传感器或来自同一传感器的不同的时间的光强度信息来生成高质量深度图像(例如，最终深度值)。一个实施例包括确定深度图像的方法，该方法包括以下步骤。基于第一光强度图像和第二光强度图像来计算深度图像。第一和第二光强度图像包含同一场景的像素值。对深度图像进行平滑，并且基于经平滑的输出深度图像和第二光强度图像来修改第一光强度图像。基于经修改的第一光强度图像和第二光强度图像来计算深度图像的新值。重复平滑深度图像、修改第一光强度图像(在预定义边界内)、以及计算深度图像的新值，直至确定对深度图像的处理完成为止。此时，将这两个光强度图像中的像素对准并且细化的深度图像完成。一个实施例包括一种包括处理器和耦合到该处理器的计算机可读存储介质的装置。计算机可读存储介质其上存储有指令，当该指令在处理器上执行时使得该处理器执行以下步骤。处理器访问包含同一场景的像素值的第一光强度图像和第二光强度图像。处理器基于第一光强度图像中的一个或多个邻居像素来确定第一光强度图像中的像素的边界值。处理器基于第一光强度图像和第二光强度图像来计算深度图像并平滑该深度图像。 处理器基于平滑深度图像的结果来确定是否要修改第一光强度图像。在确定第一光强度图像应当被修改时，处理器基于经平滑的深度图像和第二光强度图像来修改第一光强度图像。修改可包括使第一光强度图像中的像素的值保持在边界值内。而且，如果第一光强度图像被修改，则处理器基于经修改的第一光强度图像和第二光强度图像来计算深度图像的新值。处理器继续修改第一光强度图像并计算深度图像的新值，直至确定不修改第一光强度图像为止。此时，将这两个强度图像对准并且经平滑的深度图像提取完成。一个实施例包括确定深度图像的方法，该方法包括以下步骤。访问具有带同一视野的光强度值的像素的第一光强度图像和第二光强度图像。基于第一光强度图像和第二光强度图像之间的可能的像素未对准来确定第一光强度图像中的像素的边界值。基于第一光强度图像和第二光强度图像来确定深度图像。平滑深度图像并基于平滑该深度图像的结果来作出是否要修改第一光强度图像的判断。可基于经平滑的深度图像和第二光强度图像来修改第一光强度图像，这可包括执行计算深度图像的逆运算。同样，修改第一光强度图像包括使第一光强度图像中的像素值保持在边界值内。基于经修改的第一光强度图像和第二光强度图像来计算深度图像的新值。重复平滑、修改第一光强度图像、以及计算深度图像的新值，直至确定不修改第一光强度图像为止。提供本
技术实现思路
以便以简化形式介绍将在以下的具体实施方式中进一步描述的一些概念。本
技术实现思路
并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。附图说明图1描绘了运动捕捉系统的示例实施例。图2A描绘了图1的运动捕捉系统的示例框图。图2B描绘了图2A中描绘的图像相机组件的一个可能的配置。图2C描绘了图2A中描绘的图像相机组件的另一个可能的配置。图3是确定深度图像的过程的一个实施例的流程图。图4A和图4B描绘了生成第一和第二光强度图像的过程的实施例的流程图。图5A和图5B描绘了基于门控传感器和非门控传感器来生成第一和第二光强度图像的过程的实施例的流程图。图5C描绘了生成第一和第二光强度图像的过程的一个实施例的流程图，其中图像之间具有相差。图6A、6B和6C描绘了光脉冲的定时以及门控传感器和非门控传感器的激活的一个示例。图7A和7B是描绘基于门控传感器和非门控传感器来处理深度图像的实施例的流程图。图8A和8B是描绘基于具有相差的输入图像来处理深度图像的实施例的流程图。图9是在确定深度图像时确定边界值的过程的一个实施例的流程图。图10是在确定深度图像时使用边界值的过程的一个实施例的流程图。图11描绘了可以在图1的运动捕捉系统中使用的计算环境的示例框图。图12描绘了可以在图1的运动捕捉系统中使用的计算环境的另一示例框图。图13A、13B和13C描绘了用于图5C的实施例的已调制光束和传感器激活的一个示例。具体实施方式提供了用于确定到对象的深度的技术。基于在不同的位置或时间收集的两个光强度图像来确定深度图像。例如，光束被发射到一视野中，在该视野中在稍微不同的位置处的两个图像传感器被用来收集两个输入光强度图像。作为替换，可以从同一传感器但在不同的时间收集光强度图像。可基于这两个光强度图像来生成深度图像。这一技术可以补偿视野中的对象的反射率的差异。然而，这两个光强度图像中的像素之间可能存在某种未对准。 可以使用迭代过程来减轻对光强度图像之间的精确匹配的需求。该迭代过程可涉及基于从这两个光强度图像生成的深度图像的经平滑的版本来修改光强度图像之一。随后，基于经修改的光强度图像和另一光强度图像来确定深度图像的新值。在一些实施例中，基于这两个光强度图像之间的可能的像素未对准来确定要被修改的光强度图像中的像素的边界值。 在处理期间，被修改本文档来自技高网...

【技术保护点】

【技术特征摘要】
...

【专利技术属性】
技术研发人员：S·卡茨，A·阿德莱尔，
申请(专利权)人：微软公司，
类型：发明
国别省市：