深度感测系统和方法技术方案

一种深度感测系统，包括传感器，所述传感器具有第一传感器像素和第二传感器像素以接收来自表面的光。系统还包括滤光器，所述滤光器允许全光谱光透射到第一传感器像素，以及将可见光透射到第二传感器像素，同时阻止将红外光透射到第二传感器像素。所述系统进一步包括处理器，所述处理器被用于分析全光谱光和可见光以确定表面的深度。滤光器被设置在传感器与表面之间。

【技术实现步骤摘要】
【国外来华专利技术】深度感测系统和方法相关申请的交叉引用本申请要求于2016年3月1日提交的序列号为62/301,847，代理案卷号为ML.30066.00，名称为“深度感测系统和方法”的美国临时申请的优先权。本申请涉及于2014年6月14日提交的序列号为62/012,273的美国临时专利申请(代理案卷号ML.30019.00)，以及于2013年6月13日提交的序列号为14/738,877的美国技术专利申请(代理案卷号ML.20019.00)。前述专利申请的全部内容通过引用明确且完整地并入此文，就像完整阐述一样。在代理序列号为62/012,273和14/738,877的专利申请中描述的是虚拟现实和增强现实系统的各种实施例，其中，投射光被用于深度感测。在此描述投射光深度感测系统和用于深度感测的光传感器的另外的实施例。
本公开涉及深度感测系统和方法。
技术介绍
深度感测是对三维(“3D”)空间中的已知点(例如传感器)与对象表面上的兴趣点(“POI”)之间的距离的确定。深度感测也称为纹理感测，因为表面上的多个POI的相应距离的确定决定该表面的纹理。深度或纹理感测对于包括混合现实系统的许多计算机视觉系统是有用的。现代计算和显示技术已经促进了用于所谓“虚拟现实”或“增强现实”体验的混合现实系统的发展，其中，数字再现的图像或其部分以看起来真实或可被感知为真实的方式呈现给用户。虚拟现实或“VR”场景通常涉及以对其他实际的现实世界的视觉输入不透明的方式呈现数字或虚拟图像信息。增强现实或“AR”场景通常涉及数字或虚拟图像信息的呈现，作为对用户周围实际世界的可视化的增强(即，对其他实际的现实世界视觉输入透明)。因此，AR场景涉及以对其他实际的现实世界视觉输入透明的方式呈现数字或虚拟图像信息。各种光学系统以不同的深度生成图像，以用于显示混合现实(VR和AR)场景。在序列号为14/738,877的美国技术专利申请(代理案卷号ML.20019.00)中描述了一些这样的光学系统，该专利的内容先前已经通过引用并入此文。于2014年11月27日提交的序列号为14/555,585的美国技术专利申请(代理案卷号ML.20011.00)中描述了用于显示混合现实场景的其他这种光学系统，该专利的全部内容通过引用明确且完整地并入此文，就像完整阐述一样。AR场景通常包括对与现实世界对象相关的虚拟图像元素的呈现。例如，参考图1，描绘了增强现实场景100，其中，AR技术的用户看到现实世界的公园状的设置102，该设置102以人、树木、背景中的建筑物和混凝土平台104为特征。除了这些项之外，AR技术的用户还感知到他“看到”站在现实世界平台104上的机器人雕像106，以及看起来是大黄蜂的化身的正在飞行的卡通式的化身角色108，尽管这些元素106、108并不存在于现实世界中。为了呈现可信或可传递的AR场景100，必须确定现实世界对象(例如平台104)的深度以呈现与现实世界对象有关的虚拟对象(例如机器人雕像106)。包括现实世界环境的部分再现的VR场景也可以受益于对现实世界环境的那些部分的深度和纹理的确定。准确的深度和纹理信息将导致更准确的VR场景。AR和VR场景也都可包括面向外的相机来捕获现实世界环境的部分(例如，用于分析或传送)。通过对现实世界环境中那些部分的深度的确定，可以帮助聚焦这些面向外的照相机。深度感测的一种方法包括测量表面上的单个POI和相应图像上的POI的两个图像(这两个图像在已知取向上被分开已知距离)的光轴之间的相应角度。然后，通过对测量到的角度和图像捕获位置之间的已知距离进行三角测量来确定表面的深度。这种方法的问题包括：(1)对第一图像中的POI(特别是在同质表面上)的识别(“识别问题”)，以及(2)对第二图像中的对应POI的识别(“对应问题”)。在此描述的系统和方法被配置为解决这些质疑。
技术实现思路
本专利技术的实施例涉及用于促进与一个或多个用户的虚拟现实和/或增强现实交互的设备、系统和方法。在一个实施例中，深度感测系统包括传感器，所述传感器具有第一传感器像素和第二传感器像素以接收来自表面的光。所述系统还包括滤光器，所述滤光器允许全光谱光透射到所述第一传感器像素，并且允许可见光透射到所述第二传感器像素，同时阻止红外光透射到所述第二传感器像素。所述系统进一步包括处理器，所述处理器被用于分析所述全光谱光和所述可见光以确定所述表面的深度。所述滤光器被设置在所述传感器与所述表面之间。在一个或多个实施例中，所述传感器具有包括所述第二传感器像素的多个第二传感器像素，所述多个第二传感器像素中的每一者与所述第一传感器像素相邻，以及所述滤光器允许将可见光透射到所述多个第二传感器像素中的每一者，同时防止将红外光透射到所述多个第二传感器像素中的每一者。分析所述全光谱光和所述可见光可包括基于与所述多个第二传感器像素对应的多个检测到的可见光值来计算用于所述第一传感器像素的估计可见光值。计算所述估计可见光值可包括对所述多个检测到的可见光值进行平均。计算所述估计可见光值可包括对所述多个检测到的可见光值执行边缘检测。在一个或多个实施例中，所述传感器具有包括所述第一传感器像素的多个第一传感器像素，所述多个第一传感器像素中的每一者与所述第一传感器像素相邻，以及所述滤光器允许将可见光透射到所述多个第二传感器像素中的每一者，同时阻止将红外光透射到所述多个第二传感器像素中的每一者。分析所述全光谱光和所述可见光可包括计算用于所述多个第一传感器像素中的每一者计算多个估计可见光值，并且基于所述多个估计可见光值中的至少一些来计算用于所述第一传感器像素的估计可见光值。在一个或多个实施例中，所述系统还包括空间调制光投射设备，所述空间调制的光投射设备被用于向所述表面投射所述光，其中，所述光从所述表面向所述传感器反射。分析所述全光谱光和所述可见光可包括生成所述表面的红外光图像。分析所述全光谱光和所述可见光可包括对所述表面的所述红外光图像中的POI进行三角测量。在另一个实施例中，深度感测系统包括空间调制的光投射设备，所述空间调制的光投射设备被用于向表面投射光。所述系统还包括传感器，所述传感器被用于接收从所述表面反射的光的传感器。所述系统进一步包括致动器，所述致动器被用于控制所述光投射设备的空间调制并从所述传感器接收光信息。此外，所述系统包括处理器，所述处理器被用于分析从所述表面反射的所述光以确定所述表面的深度。所述光包括具有从大约700nm到大约1mm的波长的红外光。在一个或多个实施例中，所述光包括具有从大约390nm到大约700nm的波长的可见光。所述致动器可控制所述光投射设备的空间调制，以形成包括所述红外光和所述可见光的图案。所述致动器可控制所述光投射设备的空间调制，以在所述表面上形成两个相交线段。所述致动器可控制所述光投射设备的空间调制，以在所述表面上形成包括两个相交线段的静态图案。所述致动器可控制所述光投射设备的空间调制，以在所述表面上形成包括两个相交线段的动态图案。所述致动器可控制所述光投射设备的空间调制，以在所述表面上形成包括多个离散相交线段的图案。在一个或多个实施例中，控制所述光投射设备的空间调制包括控制所述光投射设备的至少一部分的移动。控制所述光投射设备的空间调制可包括控制所述光投本文档来自技高网...

【技术保护点】
1.一种深度感测系统，包括：传感器，具有第一传感器像素和第二传感器像素以接收来自表面的光；滤光器，允许全光谱光透射到所述第一传感器像素以及允许可见光透射到所述第二传感器像素，同时阻止红外光透射到所述第二传感器像素；以及处理器，用于分析所述全光谱光和所述可见光以确定所述表面的深度，其中，所述滤光器被设置在所述传感器与所述表面之间。

【技术特征摘要】
【国外来华专利技术】2016.03.01 US 62/301,8471.一种深度感测系统，包括：传感器，具有第一传感器像素和第二传感器像素以接收来自表面的光；滤光器，允许全光谱光透射到所述第一传感器像素以及允许可见光透射到所述第二传感器像素，同时阻止红外光透射到所述第二传感器像素；以及处理器，用于分析所述全光谱光和所述可见光以确定所述表面的深度，其中，所述滤光器被设置在所述传感器与所述表面之间。2.根据权利要求1所述的系统，所述传感器具有包括所述第二传感器像素的多个第二传感器像素，其中，所述多个第二传感器像素中的每一者与所述第一传感器像素相邻，其中，所述滤光器允许可见光透射到所述多个第二传感器像素中的每一者，同时阻止红外光透射到所述多个第二传感器像素中的每一者。3.根据权利要求2所述的系统，其中，分析所述全光谱光和所述可见光包括：基于与所述多个第二传感器像素对应的多个检测到的可见光值，计算用于所述第一传感器像素的估计可见光值。4.根据权利要求3所述的系统，其中，计算所述估计可见光值包括对所述多个检测到的可见光值进行平均。5.根据权利要求3所述的系统，其中，计算所述估计可见光值包括对所述多个检测到的可见光值执行边缘检测。6.根据权利要求2所述的系统，所述传感器具有包括所述第一传感器像素的多个第一传感器像素，其中，所述多个第一传感器像素中的每一者与所述第一传感器像素相邻，其中，所述滤光器允许可见光透射到所述多个第二传感器像素中的每一者，同时阻止红外光透射到所述多个第二传感器像素中的每一者。7.根据权利要求6所述的系统，其中，分析所述全光谱光和所述可见光包括：计算用于所述多个第一传感器像素中的每一者的多个估计可见光值；基于所述多个估计可见光值中的至少一些估计可见光值，计算用于所述第一传感器像素的估计可见光值。8.根据权利要求1所述的系统，进一步包括：空间调制光投射设备，用于向所述表面投射所述光，其中，所述光从所述表面向所述传感器反射。9.根据权利要求1所述的系统，其中，分析所述全光谱光和所述可见光包括生成所述表面的红外光图像。10.根据权利要求9所述的系统，其中，分析所述全光谱光和所述可见光包括对所述表面的所述红外光图像中的POI进行三角测量。11.一种深度感测系统，包括：空间调制光投射设备，用于向表面投射光；传感器，用于接收从所述表面反射的光；致动器，用于控制所述光投射设备的空间调制，并从所...

【专利技术属性】
技术研发人员：G·M·林克，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：美国,US