使用结构化光和飞行时间的深度映射制造技术

一种深度相机组件(DCA)确定DCA与DCA的视场内的局部区域中的对象之间的距离。DCA包括将用时间载波信号调制的已知的空间图案投射到局部区域中的照明源。成像装置捕获投射到局部区域中的经调制的图案。成像装置包括包含不同的像素组的检测器，每个像素组被激活以在不同的时间捕获光。因此，不同的像素组捕获来自局部区域的在时间上调制的图案的不同相位。DCA从由不同的像素组捕获的相位确定来自照明源的光被反射并由成像装置捕获的时间，并且还基于由成像装置捕获的空间图案的变形来确定DCA与局部区域中的对象之间的距离。

Depth mapping using structured light and time of flight

A depth camera component (DCA) determines the distance between DCA and objects in a local area of view within the DCA. DCA includes illumination sources that project known spatial patterns modulated by time-carrier signals to local areas. The imaging device captures modulated patterns projected into the local area. The imaging device includes a detector comprising different pixel groups, each of which is activated to capture light at different times. Therefore, different pixel groups capture different phases of time modulated patterns from local regions. The DCA determines the time when light from the illumination source is reflected and captured by the imaging device from the phase captured by different pixel groups, and also determines the distance between the DCA and the object in the local area based on the deformation of the spatial pattern captured by the imaging device.

【技术实现步骤摘要】
【国外来华专利技术】使用结构化光和飞行时间的深度映射
本公开总体上涉及虚拟或增强现实系统，并且更具体地涉及用于获得局部区域的深度信息的虚拟现实系统的耳机。
技术介绍
虚拟现实(VR)系统、或增强现实(AR)系统可以利用以三维(3D)捕获用户周围的环境。然而，传统的深度相机成像架构的尺寸相对大、重、并且消耗大量的电力。用于获得场景的3D信息的常见深度相机成像架构的示例包括：飞行时间(直接检测脉冲和编码波形)、结构化光(SL)、以及立体视觉。不同的深度相机成像架构提供不同的优势和劣势，因此某些深度相机成像架构可以在不同的操作条件下提供比其他的相机架构更好的性能。例如，立体视觉架构在环境照明下运行良好，而具有主动照明源的飞行时间架构可能受到来自环境照明的信噪比限制的损害。然而，由于常规深度相机成像架构的尺寸相对大，包括深度相机的许多系统通常使用为特定使用情况配置的单一类型的深度相机成像架构。随着头戴式系统越来越多地用于在各种操作条件和环境中执行更广泛的功能，选择单一深度相机成像架构来获得头戴式系统和用户周围的区域的深度信息可能损害头戴式系统的用户体验。
技术实现思路
虚拟现实(VR)或增强现实(AR)系统环境中的耳机包括深度相机组件(DCA)，深度相机组件被配置为确定耳机与围绕耳机的区域中的一个或多个对象之间并且包括在耳机中的成像装置的视场(即“局部区域”)内的距离。DCA包括诸如相机的成像装置、以及被配置为将诸如对称或准随机点、网格、或水平条的指定图案发射到场景上的照明源。例如，照明源将网格或一系列水平条发射到局部区域上。基于投射到局部区域表面上时的图案变形，DCA可以利用三角测量确定表面与耳机之间的距离。除了控制发射到局部区域上的指定图案之外，DCA还将时变强度嵌入到图案中。捕获描述从照明源发射的光从局部区域中的对象反射回成像装置的净往返时间的信息(“飞行时间信息”)，DCA具有用于捕获耳机局部区域深度信息的附加机制。基于由成像装置捕获的发射光的时间，DCA确定DCA与反射来自照明源的光的局部区域中的对象之间的距离。例如，DCA确定DCA与局部区域中的对象之间的距离一英寸大约二(2)纳秒，以便由包含在DCA中的成像装置捕获发射光。为了捕获飞行时间信息以及结构化光信息，照明源利用具有指定频率(例如30兆赫)的时间载波信号来调制由照明源发射的图案的时间和空间强度。成像装置捕获来自局部区域的光，包括由照明源发射的由空间和时间轮廓规定的光。为了确定来自由局部区域中的对象反射的照明源的飞行时间信息，成像装置包括具有像素组阵列的检测器。每个像素组可以包括一个或多个像素，并且不同的像素组与相对于载波信号的相位的积分时间中的不同相移相关联，该载波信号被照明源用来调制发射的图案。检测器中的不同的像素组接收不同的控制信号，因此不同的像素组在由控制信号指定的不同的时间捕获光。这允许检测器中的不同的像素组捕获调制图案的不同相位。例如，彼此最接近的四个像素组接收不同的控制信号，这些控制信号使得四个像素组中的每一个在不同的时间捕获光，因此由四个像素组中的每一个捕获的光相对于由四个像素组中的其他像素组捕获的光具有九十(90)度相移。DCA比较四个像素组之间的相对信号，以得到对于对象位置的载波信号的净相位或角度，该对象位置将基于相对视场在检测器上变化。得到的净相位或角度基于检测器中不同的像素组捕获的光的信号差值。使用任何合适的技术，DCA补偿相对信号中的时间偏移以确定发射到局部区域上的结构化图案的图像。例如，DCA通过反转相对信号的相位角以缩放相对逐像素辐照度、对来自相邻像素的相对信号进行求和以去除时间偏差、或者基于相对信号的时间偏移以及来自检测器中的不同像素得到的净相位或角度中的偏移来执行其他合适的操作来补偿相对信号中的时间偏移。因此，由成像装置在DCA中捕获的帧捕获结构化光(即，空间)数据和飞行时间(即，时间)数据，由DCA改进局部区域的深度信息的整体估计。由于结构化光数据和飞行时间数据为相对于DCA的局部区域的相对深度提供不同的信息，通过DCA捕获帧中的结构化光数据和飞行时间数据提高了深度估计的准确性、精度和稳健性。在单个帧中捕获结构化光和飞行时间数据还会降低DCA对移动或运动变化的敏感度，允许DCA使用单个检测器利用飞行时间数据和结构化光数据的相对强度，提供更小、更轻、且更具成本效益的DCA实现。附图说明图1是根据一个实施方式的包括虚拟现实系统的系统环境的框图。图2是根据一个实施方式的虚拟现实耳机的图。图3是根据一个实施方式的虚拟现实耳机的前刚性体的截面。图4A是根据一个实施方式的在包括于虚拟现实耳机中的深度相机组件的成像装置中包括的检测器的示例。图4B是根据一个实施方式的操作图4A中所示的示例性检测器积分定时的控制信号的示例。图4C是根据一个实施方式的由图4A中所示的示例性检测器中的不同的像素组针对正弦载波捕获光的示例。图4D是根据一个实施方式的在包括于虚拟现实耳机中的深度相机组件的成像装置中包括的检测器的另一个示例。图5A示出根据一个实施方式的成像装置和将结构化光图案投射到局部区域上的照明源的示例布置。图5B示出根据一个实施方式的成像装置和将在时间和空间上调制的结构化光图案投射到局部区域上的照明源的示例布置。附图仅出于说明的目的描绘了本公开的实施方式。本领域技术人员根据以下描述将容易认识到，在不脱离本文描述的公开的原理或利益的情况下，可以采用本文所示的结构和方法的替代实施方式。具体实施方式系统概述图1是VR控制台110在其中运行的虚拟现实(VR)系统环境100的一个实施方式的框图。尽管图1为了说明的目的示出VR系统环境，但是本文所描述的部件和功能还可以包括在各种实施方式中的增强现实(AR)系统中。如这里所使用的，VR系统环境100还可以包括向用户呈现用户可以与之交互的虚拟环境的虚拟现实系统环境。图1所示的VR系统环境100包括VR耳机105和耦接到VR控制台110的VR输入/输出(I/O)接口115。尽管图1示出包括一个VR耳机105和一个VRI/O界面115的示例系统100，但是在其他实施方式中，在VR系统环境100中可以包括任何数量的这些部件。例如，可以有许多VR耳机105，每个耳机具有相关联的VRI/O界面115，每个VR耳机105和VRI/O界面115与VR控制台110通信。在替代配置中，VR系统环境100中可以包括不同的和/或附加的部件。另外，在一些实施方式中，结合图1所示的一个或多个部件描述的功能可以以与结合图1所描述的方式不同的方式分布在部件当中。例如，VR控制台110的一些或全部功能由VR耳机105提供。VR耳机105是向用户呈现内容的头戴式显示器，其包括用计算机生成的元素(例如，二维(2D)或三维(3D)图像、2D或3D视频、声音等)增强的物理、现实环境的视图。在一些实施方式中，所呈现的内容包括经由从VR耳机105、VR控制台110或两者接收音频信息的外部装置(例如，扬声器和/或听筒)呈现的音频，并且基于音频信息呈现音频数据。下面结合图2和图3进一步描述VR耳机105的实施方式。VR耳机105可以包含一个或多个刚性体，刚性体可以刚性地或非刚性地彼此耦接在一起。刚性体之间的刚性耦接导致耦接的刚性体充当单个刚性体。相反本文档来自技高网...

【技术保护点】
1.一种设备，包括：照明源，包括：耦接到发光器的控制器，所述控制器被配置为通过载波信号调制由所述发光器发射的光，使得所述光的图案的强度基于所述载波信号随时间变化，并且所述发光器被配置为发射由所述载波信号调制的结构化光图案；成像装置，被配置为捕获经调制的结构化光图案，所述成像装置包括检测器，所述检测器包括：多个像素组，每个像素组包括一个或多个像素，每个像素组被配置为接收确定像素组何时捕获光的控制信号，所述控制信号使像素组在相对于其他像素组的不同的时间捕获光；以及耦接到所述成像装置的处理器，所述处理器被配置为：基于由所述检测器中的不同的像素组接收的光的强度确定所述载波信号的相位，基于所确定的所述载波信号的相位，确定所述经调制的结构化光图案从局部区域中的一个或多个对象反射并由所述检测器捕获的时间，从所确定的时间确定从所述检测器到所述局部区域中的所述一个或多个对象的距离，以及生成包括来自由所述检测器中的每个像素组在不同的时间捕获的光的结构化光图案的帧。

【技术特征摘要】
【国外来华专利技术】2016.01.15 US 62/279,629;2016.09.16 US 15/268,3251.一种设备，包括：照明源，包括：耦接到发光器的控制器，所述控制器被配置为通过载波信号调制由所述发光器发射的光，使得所述光的图案的强度基于所述载波信号随时间变化，并且所述发光器被配置为发射由所述载波信号调制的结构化光图案；成像装置，被配置为捕获经调制的结构化光图案，所述成像装置包括检测器，所述检测器包括：多个像素组，每个像素组包括一个或多个像素，每个像素组被配置为接收确定像素组何时捕获光的控制信号，所述控制信号使像素组在相对于其他像素组的不同的时间捕获光；以及耦接到所述成像装置的处理器，所述处理器被配置为：基于由所述检测器中的不同的像素组接收的光的强度确定所述载波信号的相位，基于所确定的所述载波信号的相位，确定所述经调制的结构化光图案从局部区域中的一个或多个对象反射并由所述检测器捕获的时间，从所确定的时间确定从所述检测器到所述局部区域中的所述一个或多个对象的距离，以及生成包括来自由所述检测器中的每个像素组在不同的时间捕获的光的结构化光图案的帧。2.根据权利要求1所述的设备，其中，像素组被配置为当由所述像素组接收的控制信号具有一值时捕获光，并且当由所述像素组接收的所述控制信号具有替代值时不捕获光。3.根据权利要求2所述的设备，其中，由不同的像素组接收的控制信号在不同的时间具有所述值。4.根据权利要求2所述的设备，其中，由相邻的像素组在不同的时间接收的控制信号使由所述像素组捕获的光相对于由与所述像素组相邻的其他像素组捕获的光具有指定相移。5.根据权利要求4所述的设备，其中，所述指定相移是90度相移。6.根据权利要求5所述的设备，其中，由像素组接收的控制信号在特定时间具有所述值，并且由其他像素组接收的控制信号在所述特定时间具有所述替代值。7.根据权利要求5所述的设备，其中，由像素组接收的控制信号在特定时间具有所述值，并且由与所述像素组相邻的每个像素组接收的控制信号在所述特定时间具有所述替代值。8.根据权利要求5所述的设备，其中，基于由所述检测器中的不同的像素组接收的光的强度确定所述载波信号的所述相位包括：确定由像素组和由与所述像素组相邻的另一像素组捕获的光的强度之间的差值；确定由替代像素组和与所述替代像素组相邻的又一像素组捕获的光的强度之间的附加差值，所述替代像素组和所述又一像素组与所述像素组相邻；以及基于所述差值与所述附加差值的比率确定所述载波信号的所述相位。9.根据权利要求8所述的设备，其中，基于所述差值与所述附加差值的所述比率确定所述载波信号的所述相位包括：将所述载波信号的所述相位确定为所述差值比所述附加差值的反正切。10.根据权利要求1所述的设备，其中，包括在所述检测器中的多个所述像素组以重复的图案布置。11.根据权利要求10所述的设备，其中，所述重复的图案包括2×2网格，其中，所述2×2网格中的每个像素组捕获相对于由所述2×2网格中的另一像素组捕获的光具有90度相移的光。12.根据权利要求1所述的设备，其中，所述载波信号包括正弦波。13.根据权利要求1所述的设...

【专利技术属性】
技术研发人员：尼古拉斯·丹尼尔·特雷尔，
申请(专利权)人：欧库勒斯虚拟现实有限责任公司，
类型：发明
国别省市：美国,US