用于深度传感的时间数字转换器制造技术

本申请涉及用于深度传感的时间数字转换器。深度相机组件用于获得描述局部区域的深度信息。深度相机组件包括具有多个像素的传感器。一些或所有像素被分成耦合到各自的多用途时间数字转换器的组。每个多用途时间数字转换器包括振荡器和计数器。组中的每个像素与多路复用器相关联，该多路复用器被配置为在耦合到该像素、振荡器或与不同像素相关联的计数器的输入端之间进行选择。多路复用器将信号输出到与像素相关联的时间数字转换器的计数器。在图像帧的第一部分期间进行飞行时间测量。在图像帧的第二部分期间，传感器可以用作强度计数器。在图像帧的第三部分期间，可以校准深度传感器。感器。感器。

【技术实现步骤摘要】
用于深度传感的时间数字转换器
专利

[0001]本公开总体涉及人工现实系统，更具体地说，涉及深度传感(depth sensing)人工现实系统。
[0002]背景
[0003]深度传感系统确定描述局部区域的深度信息。深度传感系统通常包括用光照亮一部分局部区域的光投影仪。该光可以是例如用于飞行时间(TOF)测量的红外(IR)光。一个或更多个深度传感器检测来自局部区域部分中的对象的反射光，该反射光包括来自光投影仪的光，并且控制器使用检测到的光计算局部区域部分的深度信息。深度获取时间可能比图像帧的持续时间短。因此，深度传感器上的像素对于每个帧的部分可能是未被使用的。
[0004]概述
[0005]深度相机组件用于获得描述局部区域的深度信息。深度相机组件包括具有多个像素的传感器。一些或所有像素被分成耦合到各自的多用途时间数字转换器(TDC，time
‑
to
‑
digital converter)的组。每个多用途TDC包括振荡器和计数器。组中的每个像素与多路复用器相关联，该多路复用器被配置为在来自像素、振荡器或与不同像素相关联的计数器的输入之间进行选择。多路复用器将信号输出到与像素相关联的TDC的计数器。在图像帧的第一部分期间进行TOF测量。在图像帧的第二部分期间，传感器可以用作强度计数器。在帧的第三部分期间，可以校准深度传感器。
[0006]深度相机组件(DCA)包括传感器，该传感器包括被配置为捕获局部区域的图像的多个像素。多个像素包括一组像素。DCA包括彼此耦合的多个计数器，其中多个计数器中的每一个耦合到一组像素中的对应像素。该DCA包括控制器，该控制器被配置为在图像帧的第一部分期间估计与由一组像素中的每个像素收集的光相关联的原始深度值。控制器被配置为在图像帧的第二部分期间，对一组像素中的第一像素执行强度测量。强度测量可以部分地基于在图像帧的第二部分期间从多个计数器接收的信息。
[0007]一种方法可以包括：在包括传感器的DCA的图像帧的第一部分期间，估计与由传感器上的一组像素中的每个像素收集的光相关联的原始深度值。该方法可以包括在图像帧的第二部分期间，对一组像素中的第一像素执行强度测量。强度测量可以部分地基于在图像帧的第二部分期间从多个计数器接收的信息。多个计数器中的每一个可以耦合到一组像素中的对应像素。
[0008]DCA可以包括第一像素和耦合到第一像素的第一时间数字转换器。第一时间数字转换器包括第一振荡器和第一计数器。DCA可以包括第一多路复用器，该第一多路复用器包括耦合到第一像素的多路复用器输入端、耦合到第一振荡器的多路复用器输入端和耦合到第一计数器的多路复用器输出端。DCA可以包括第二像素和耦合到第二像素的第二时间数字转换器。第二时间数字转换器包括第二振荡器和第二计数器。DCA可以包括第二多路复用器，该第二多路复用器包括耦合到第二像素的多路复用器输入端、耦合到第二振荡器的多路复用器输入端、耦合到第一计数器的多路复用器输入端和耦合到第二计数器的多路复用器输出端。
[0009]附图简述
[0010]图1A是根据一个或更多个实施例的实施为眼镜设备的头戴装置(headset)的透视图。
[0011]图1B是根据一个或更多个实施例的实施为头戴式显示器的头戴装置的透视图。
[0012]图2是根据一个或更多个实施例的深度相机组件的框图。
[0013]图3是根据一个或更多个实施例，在TOF子帧期间的一组像素的示意图。
[0014]图4是根据一个或更多个实施例，在第一像素的强度子帧期间图3的一组像素的示意图。
[0015]图5是根据一个或更多个实施例，在第二像素的强度子帧期间图3的一组像素的示意图。
[0016]图6是根据一个或更多个实施例，在第三像素的强度子帧期间图3的一组像素的示意图。
[0017]图7是根据一个或更多个实施例，在第四像素的强度子帧期间图3的一组像素的示意图。
[0018]图8是根据一个或更多个实施例，在TOF校准子帧期间图3的一组像素的示意图。
[0019]图9是示出根据一个或更多个实施例的用于校准传感器的过程的流程图。
[0020]图10是根据一个或更多个实施例的包括具有深度相机组件的头戴装置的系统，该深度相机组件包括多用途时间数字转换器。
[0021]附图仅为了说明的目的而描绘各种实施例。本领域中的技术人员从下面的讨论中将容易认识到，本文示出的结构和方法的替代实施例可以被采用而不偏离本文所述的原理。
[0022]详细描述
[0023]头戴装置包括用于获得描述局部区域的深度信息的深度相机组件。深度相机组件包括具有多个像素的传感器。一些或所有像素被分成耦合到各自的多用途时间数字转换器的组。每个多用途时间数字转换器包括振荡器和计数器。组中的每个像素与多路复用器相关联，该多路复用器被配置为在来自像素、振荡器或与不同像素相关联的计数器的输入之间进行选择。多路复用器将信号输出到与像素相关联的时间数字转换器(TDC)的计数器。在图像帧的第一部分期间进行飞行时间(TOF)测量。为了防止运动模糊，TOF测量的持续时间可能显著小于图像帧的持续时间。因此，在图像帧的剩余部分期间，传感器部件可用于其他功能。在图像帧的第二部分期间，传感器可以用作强度计数器。在帧的第三部分期间，可以校准深度传感器。
[0024]组合多个TDC计数器，依次获得一组中每个像素的强度计数。通过使用组合计数器来在不同时间测量该组中像素的强度，可以以宽动态范围提取传感器的固有(native)分辨率。例如，在一个组中具有四个像素并且每个像素具有五位计数器的实施例中，通过在图像帧期间电子地重新排列计数器，可以在深度传感器的图像帧的常规空闲时间期间获得处于固有分辨率的二十位强度计数器。可以在图像帧期间以任何顺序执行TOF测量、强度测量和TOF校准。
[0025]可以在传统系统使像素空闲的图像帧部分期间获得强度值。强度值可用于估计在不将光投射到局部区域的情况下的环境光和将光投射到局部区域时的目标反射率等。传感
器可以用于深度和强度信息，这可以减少当在不同位置使用单独的强度传感器和深度传感器时由对准问题引起的误差。
[0026]本专利技术的实施例可以包括人工现实系统或者结合人工现实系统来实现。人工现实是一种在呈现给用户之前已经以某种方式进行了调整的现实形式，其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混杂现实或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或者与捕获的(例如，真实世界的)内容相结合的生成的内容。人工现实内容可以包括视频、音频、触觉反馈、或其某种组合，其中任何一个都可以在单个通道中或在多个通道中被呈现(诸如向观看者产生三维效果的立体视频)。另外，在一些实施例中，人工现实还可以与应用、产品、附件、服务或其某种组合相关联，这些应用、产品、附件、服务或其某种组合用于在人工现实中创建内容和/或在人工现实中以其他方式使用。提供人工现实内容的人本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度相机组件(DCA)，包括：传感器，所述传感器包括被配置为捕获局部区域的图像的多个像素，所述多个像素包括一组像素；彼此耦合的多个计数器，其中所述多个计数器中的每一个耦合到所述一组像素中的对应像素；和控制器，所述控制器被配置为：在图像帧的第一部分期间，估计与由所述一组像素中的每个像素收集的光相关联的原始深度值；和在所述图像帧的第二部分期间，对所述一组像素中的第一像素执行强度测量，其中所述强度测量部分地基于在所述图像帧的第二部分期间从所述多个计数器接收的信息。2.根据权利要求1所述的深度相机组件，其中所述控制器还被配置成使用所述强度测量来校准所述图像帧的原始深度值。3.根据权利要求1所述的深度相机组件，其中所述控制器还被配置为在所述图像帧的第二部分期间，对所述一组像素中的第二像素执行强度测量，其中所述第二像素的强度测量部分地基于在所述图像帧的第二部分期间从所述多个计数器接收的信息。4.根据权利要求1所述的深度相机组件，其中所述传感器包括多个时间数字转换器，其中所述多个时间数字转换器中的每一个耦合到所述一组像素中的相应像素。5.根据权利要求4所述的深度相机组件，其中，所述控制器还被配置成在所述图像帧的第三部分期间校准所述时间数字转换器中的一个或更多个。6.根据权利要求1所述的深度相机组件，其中所述原始深度值包括飞行时间测量值。7.根据权利要求1所述的深度相机组件，其中：在所述图像帧的第一部分期间，多路复用器被配置成选择耦合到振荡器的多路复用器输入端；和在所述图像帧的第二部分期间，所述多路复用器被配置成选择耦合到所述第一像素的多路复用器输入端。8.一种方法，其包括：在包括传感器的深度相机组件的图像帧的第一部分期间，估计与由所述传感器上的一组像素中的每个像素收集的光相关联的原始深度值；和在所述图像帧的第二部分期间，对所述一组像素中的第一像素执行强度测量，其中所述强度测量部分地基于在所述图像帧的第二部分期间从多个计数器接收的信息，其中所述多个计数器中的每一个耦合到所述一组像素中的对应像素。9.根据权利要求8所述的方法，还包括使用所述强度测量来校准所述图像帧的原始深度值。10.根据权利要求8所述的方法，还包括在所述图像帧的第二部分期间，对所述一组像素中的第二像素执行强度测量，其中所述第二像素的强度测量部分地基于在所述图像帧的第二部分期间从所述多个计数器接收的信息。11.根据权利要求8所述的方法，其中所述传感器包括多个时间数字转换器，其中所述多个时间数字转换器中的每一个耦合到所述一组像素中的相应像素。12.根据权利要求11所述的方法，还包括在所述图像帧的第三部分期间，校准所述时间
数字转换器中的一个或更多个。1...

【专利技术属性】
技术研发人员：迈克尔，
申请(专利权)人：脸谱科技有限责任公司，
类型：发明
国别省市：