深度相机组件、头戴式显示器和用于深度感测的方法技术

本发明专利技术涉及一种深度相机组件、头戴式显示器和用于深度感测的方法。用于局部区域的深度感测的深度相机组件，包括结构化光发生器、成像装置和控制器。结构化光发生器用结构化光照亮局部区域，并且包括照明源、安装元件和安装在安装元件上的衍射光学元件(DOE)。安装元件可以具有基于来自控制器的发射指令的相对于照明源的多个可调节位置。DOE使用从照明源发射的光生成衍射扫描光束，该衍射扫描光束作为结构化光投射到局部区域中。结构化光的图案对于安装元件的每个可调节位置是动态可调节的并且是唯一的。成像装置捕获从局部区域中的对象反射的结构化光的图像。控制器部分基于所捕获的图像来确定对象的深度信息。

Deep Camera Components, Head-mounted Displays and Methods for Deep Sensing

The invention relates to a depth camera component, a head-mounted display and a method for depth sensing. Depth camera components for local area depth sensing include structured light generator, imaging device and controller. Structured light generators use structured light to illuminate local areas, including lighting sources, mounting elements and diffractive optical elements (DOEs) mounted on mounting elements. The mounting element may have multiple adjustable positions relative to the lighting source based on transmission instructions from the controller. DOE uses light emitted from the illumination source to generate a diffraction scanning beam, which is projected into a local area as structured light. The pattern of structured light is dynamically adjustable and unique for each adjustable position of the mounting element. The imaging device captures an image of structured light reflected from an object in a local area. The controller part determines the depth information of the object based on the captured image.

【技术实现步骤摘要】
深度相机组件、头戴式显示器和用于深度感测的方法
本公开总体上涉及深度感测，并且具体地涉及用于实现用于三维深度感测的结构化光图案的可调节的分辨率的偏移衍射光学元件。
技术介绍
为了在使用头戴式显示器(HMD)时实现深度感测的强有力的用户体验，重要的是创建提供实时可动态调节的照明图案的扫描装置。大多数深度感测方法依赖于主动照明和检测。用于深度感测的常规方法涉及使用结构化光或飞行时间技术的机械扫描或固定衍射光学图案投影。基于飞行时间的深度感测使用基于机械的反射镜装置(扫描仪)以将短脉冲发送到对象空间。基于飞行时间的深度感测进一步使用高速检测器来对来自对象的后向散射光进行时间门控以创建高分辨率深度图。然而，基于机械的扫描仪在扫描速度、实时重新配置和机械稳定性方面执行地不适当。基于固定结构光的深度感测使用衍射光学元件以生成投射到对象空间中的静态(固定)图案的结构化光。基于固定结构化光的深度感测进一步使用预先存储的查找表以计算和提取深度图。然而，基于固定结构化光的深度感测对于需要调节照明图案的空间分辨率的动态深度感测不够稳健。
技术实现思路
深度相机组件(DCA)确定与局部区域中的一个或多个对象相关联的深度信息。DCA包括结构化光发生器、成像装置和控制器。结构化光发生器被配置为根据发射指令利用结构化光照亮局部区域。结构化光发生器包括照明源、安装元件、衍射光学元件(DOE)和投影组件。照明源被配置为部分基于发射指令发射一个或多个光脉冲。安装元件被配置为具有部分基于发射指令的相对于照明源的多个可调节位置。DOE是安装在该安装元件上并且从该一个或多个光脉冲生成衍射扫描光束，这些衍射扫描光束对于该多个可调节位置的该安装元件的每个位置具有不同的图案。投射组件被配置为将衍射扫描光束作为结构化光投射到局部区域中。结构化光的图案可部分基于多个可调节位置中的安装元件的可调节位置而动态地调节。成像装置捕获从局部区域中的一个或多个对象反射的结构化光的至少一部分的一个或多个图像。控制器生成发射指令并且将发射指令提供给结构化光发生器。控制器进一步部分基于所捕获的一个或多个图像来确定一个或多个对象的深度信息。头戴式显示器(HMD)可以进一步集成DCA。HMD进一步包括电子显示器和光学组件。HMD可以是例如虚拟现实(VR)系统、增强现实(AR)系统、混合现实(MR)系统或其中的一些组合。电子显示器被配置为发射图像光。光学组件被配置为将图像光引导至HMD的对应于用户的眼睛的位置的眼箱，图像光包括由DCA确定的局部区域中的一个或多个对象的深度信息。附图说明图1是根据实施方式的头戴式显示器(HMD)的示图。图2是根据实施方式的图1中的HMD的前刚体的截面。图3是根据实施方式的示例性深度相机组件(DCA)。图4是示出根据实施方式的确定局部区域中的对象的深度信息的处理的流程图。图5是根据实施方式的其中控制台操作的HMD系统的框图。附图仅出于说明的目的描绘了本公开的实施方式。本领域技术人员将容易地从以下描述中认识到，在不背离本文描述的本公开的原理或益处的情况下，可以采用本文所示的结构和方法的替代实施方式。具体实施方式本文呈现了用于确定围绕DCA中的一些或全部的局部区域中的一个或多个对象的深度信息的深度相机组件(DCA)。DCA包括结构化光发生器、成像装置(相机)和控制器。结构化光发生器包括衍射光学元件(DOE)、DOE底座和照明源。DOE底座被配置为具有相对于照明源的多个不同位置。DOE底座可与照明源同步(例如，经由控制器)，使得DOE底座针对从照明源发射的不同光脉冲将DOE定位在不同的位置。DOE的每个位置导致从照射局部区域的结构化光发生器发射的结构光的不同图案。调节DOE的位置(例如，经由DOE底座)提供结构化光图案的可调节分辨率。此外，将DOE的位置调节为所发射的结构化光的可转向图案。例如，由发射的结构化光覆盖的视场可以通过调节DOE的位置而变化。此外，通过调节DOE的位置，结构化光可以指向局部区域中的特定对象。可通过调节用于不同应用(例如，近感测对远感测、对象扫描对房间或建筑物扫描对手跟踪等)的DOE的位置来修改结构化光的图案。DCA的成像装置捕获从局部区域中的一个或多个对象反射的结构化光的至少一部分的一个或多个图像。控制器部分基于所捕获的一个或多个图像来确定一个或多个对象的深度信息。在一些实施方式中，DCA被集成到头戴式显示器(HMD)中，该头戴式显示器捕获描述围绕HMD的一些或全部的局部区域中的深度信息的数据。HMD可以是例如虚拟现实(VR)系统、增强现实(AR)系统、混合现实(MR)系统或其中的一些组合的一部分。HMD进一步包括电子显示器和光学组件。电子显示器被配置为发射图像光。光学组件被配置为将图像光引导至HMD的对应于用户的眼睛的位置的眼箱，图像光包括由DCA确定的局部区域中的一个或多个对象的深度信息。图1是根据实施方式的HMD100的图。HMD100可以是例如VR系统、AR系统、MR系统或其中的一些组合的一部分。在描述AR系统和/或MR系统的实施方式中，HMD100的前侧102的部分在可见频带(约380nm至750nm)中至少部分透明，并且HMD100的在HMD100的前侧102与用户的眼睛之间的部分至少部分透明(例如，部分透明电子显示器)。HMD100包括前刚体105、带子110和参考点115。HMD100还包括DCA，DCA被配置为确定围绕HMD100的一些或全部的局部区域的深度信息。HMD100还包括成像孔120和照明孔125，并且DCA的照明源通过照明孔125发射光(例如，可调节图案的结构化光)。DCA的成像装置从照明源捕获通过成像孔120从局部区域反射的光。从DCA的照明源通过照明孔125发射的光包括结构化光，如结合图2至图4更详细地讨论的。从局部区域反射穿过成像孔120并且由DCA的成像装置捕获的光包括反射的结构化光的至少一部分，如还结合图2至图4更详细地讨论的。前刚体105包括一个或多个电子显示元件(图1中未示出)、一个或多个集成眼睛跟踪系统(图1中未示出)、惯性测量单元(IMU)130、一个或多个位置传感器135、以及参考点115。在图1所示的实施方式中，位置传感器135位于IMU130内，并且IMU130和位置传感器135对于HMD100的用户都不可见。IMU130是基于从一个或多个位置传感器135接收的测量信号生成快速校准数据的电子装置。位置传感器135响应于HMD100的运动生成一个或多个测量信号。位置传感器135的示例包括：一个或多个加速度计、一个或多个陀螺仪、一个或多个磁力计、检测运动的另一合适类型的传感器、一类用于IMU130的误差校正的传感器或其中的一些组合。位置传感器135可以位于IMU130的外部、IMU130的内部、或其中的一些组合。图2是图1中所示的HMD100的前刚体105的截面200。如图2所示，前刚体105包括电子显示器210和光学组件220，它们一起向眼箱225提供图像光。眼箱225是空间中的由用户的眼睛230占据的区域。为了说明的目的，图2示出了与单眼230相关联的截面200，但是与光学组件220分离的另一个光学组件220向用户的另一只眼睛提供改变的图像光。电子显示器210生成本文档来自技高网...

【技术保护点】
1.一种深度相机组件，包括：结构化光发生器，被配置为根据发射指令用结构化光照亮局部区域，所述结构化光发生器包括：照明源，被配置为部分基于发射指令发射一个或多个光脉冲；安装元件，被配置为具有部分基于所述发射指令的相对于所述照明源的多个可调节位置，衍射光学元件，安装在所述安装元件上，所述衍射光学元件从所述一个或多个光脉冲生成衍射扫描光束，所述衍射扫描光束对于所述多个可调节位置中的所述安装元件的每个位置具有不同的图案，以及投影组件，所述投影组件被配置为将所述衍射扫描光束作为所述结构化光投射到所述局部区域中，所述结构化光的图案部分基于所述多个可调节位置中的所述安装元件的可调节位置而能够动态调节；成像装置，被配置为捕获从所述局部区域中的一个或多个对象反射的所述结构化光的至少一部分的一个或多个图像；以及控制器，被配置为：生成所述发射指令，向所述结构化光发生器提供所述发射指令，并且部分基于所捕获的一个或多个图像来确定所述一个或多个对象的深度信息。

【技术特征摘要】
2017.08.31 US 15/693,2971.一种深度相机组件，包括：结构化光发生器，被配置为根据发射指令用结构化光照亮局部区域，所述结构化光发生器包括：照明源，被配置为部分基于发射指令发射一个或多个光脉冲；安装元件，被配置为具有部分基于所述发射指令的相对于所述照明源的多个可调节位置，衍射光学元件，安装在所述安装元件上，所述衍射光学元件从所述一个或多个光脉冲生成衍射扫描光束，所述衍射扫描光束对于所述多个可调节位置中的所述安装元件的每个位置具有不同的图案，以及投影组件，所述投影组件被配置为将所述衍射扫描光束作为所述结构化光投射到所述局部区域中，所述结构化光的图案部分基于所述多个可调节位置中的所述安装元件的可调节位置而能够动态调节；成像装置，被配置为捕获从所述局部区域中的一个或多个对象反射的所述结构化光的至少一部分的一个或多个图像；以及控制器，被配置为：生成所述发射指令，向所述结构化光发生器提供所述发射指令，并且部分基于所捕获的一个或多个图像来确定所述一个或多个对象的深度信息。2.根据权利要求1所述的深度相机组件，其中，所述控制器进一步被配置为：向所述照明源提供所述发射指令以控制发射所述一个或多个光脉冲；以及部分基于所述发射指令，调节所述安装元件的位置以根据所述一个或多个光脉冲来定位所述衍射光学元件。3.根据权利要求1所述的深度相机组件，其中，所述多个可调节位置中的所述安装元件的每个位置导致所述结构化光的唯一图案。4.根据权利要求1所述的深度相机组件，其中，所述照明源包括：光发射器，被配置为部分基于所述发射指令发射所述一个或多个光脉冲；准直组件，被配置为将所述一个或多个光脉冲准直成准直光；以及棱镜，被配置为将所述准直光引导到所述衍射光学元件中。5.根据权利要求1所述的深度相机组件，其中，所述照明源包括：光发射器，被配置为部分基于所述发射指令发射所述一个或多个光脉冲；以及单个光学元件，被配置为：准直所述一个或多个光脉冲以生成准直光，并且将所述准直光引导到所述衍射光学元件中。6.根据权利要求1所述的深度相机组件，其中，所述衍射光学元件以满足布拉格匹配条件的角度衍射入射到所述衍射光学元件的所述一个或多个光脉冲，以部分基于所述发射指令形成所述衍射扫描光束。7.根据权利要求1所述的深度相机组件，其中，对所述一个或多个光脉冲进行时间调制，从而提供经时间调制的所述结构化光。8.根据权利要求1所述的深度相机组件，其中，所述控制器进一步被配置为：部分基于所确定的深度信息来动态地调节所述安装元件的位置。9.根据权利要求1所述的深度相机组件，其中，所述控制器进一步被配置为：部分基于与所述局部区域中的所述一个或多个对象相关的位置信息来动态地调节所述安装元件的位置。10.根据权利要求1所述的深度相机组件，其中，所述控制器进一步被配置为：部分基于所述发射指令来调节所述安装元件的位置，以改变所述衍射光学元件相对于所述照明源的角度位置。11.根据权利要求1所述的深度相机组件，其中，所述控制器进一步被配置为：部分基于所述发射指令调节所述安装元件...

【专利技术属性】
技术研发人员：安德鲁·马修·巴尔达居，约瑟夫·达根，奇纳·哈泽格，刘非，马克·蒂莫西·沙利文，西蒙·莫里斯·尚德·魏斯，
申请(专利权)人：脸谱科技有限责任公司，
类型：发明
国别省市：美国,US