飞行时间相机的经降低功率操作制造技术

飞行时间(ToF)相机被配置成以降低该ToF相机的功耗的方式操作。对于关键帧，基于多个关键帧IR图像集合来生成关键帧深度图像。每个关键帧IR图像集合是使用有源IR光的不同调制频率来采集的。对于该关键帧之后的P帧，基于使用有源IR光的单个调制频率所采集的P帧IR图像集合来生成P帧深度图像。

【技术实现步骤摘要】
【国外来华专利技术】飞行时间相机的经降低功率操作
技术介绍
飞行时间(ToF)相机可以基于已知的光速和在ToF相机与对象之间测得的光的飞行时间来确定对象相对于ToF相机的深度。例如，光信号可被临时地调制以照明对象。向后反射的光信号可以由ToF相机的传感器阵列采集并被评估以确定可依据其计算深度的相位差。
技术实现思路
提供本
技术实现思路
以便以简化的形式介绍以下在具体实施方式述中进一步描述的概念的选集。本
技术实现思路
并不旨在标识所要求保护的主题的关键特征或必要特征，亦非旨在用于限制所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中提及的任何或所有缺点的实现。飞行时间(ToF)相机被配置成以降低ToF相机的功耗的方式操作。对于关键帧，关键帧深度图像是基于多个关键帧IR图像集合来生成的。每个关键帧IR图像集合是使用有源IR光的不同调制频率来采集的。对于关键帧之后的P帧，P帧深度图像是基于使用有源IR光的单个调制频率所采集的P帧IR图像集合来生成的。附图简述图1是示出示例飞行时间(ToF)相机的各方面的分解示意图。图2是示出用于采集针对关键帧的多个不同调制频率中的每一者的关键帧红外(IR)图像集合的ToF照明器的示例操作序列的时序图。图3是示出用于采集针对P帧的单个调制频率的P帧IR图像集合的ToF照明器的示例操作序列的时序图。图4示意性地示出了用于生成关键帧深度图像并且随后基于在关键帧和P帧中标识出的各特征的位置转换来生成P帧深度图像的示例办法。图5示出了对各关键帧之间的多个P帧执行的示例ToF相机操作。图6示意性地示出了用于生成关键帧深度图像并且随后基于根据来自一个或多个运动传感器的运动数据确定的经改变的视角来生成P帧深度图像的示例办法。图7A-7B是用于以降低ToF相机的功耗的方式采集多个深度图像的示例方法的流程图。图8示出了示例近眼显示设备。图9示出了示例计算系统。具体实施方式飞行时间(ToF)相机可以基于由飞行时间照明器临时调制的光信号的相位差来确定对象的深度。然而，如果对象位于使相位差大于2π的距离处，则该对象可能会与位于2π的倍数的距离处的另一对象混淆。加在等同于距离的相位差上的周期数可以称为“相位缠绕(phasewrapping)”。为了解决此问题，在一个示例中，ToF相机使用若干不同的调制频率调制有源红外(IR)光信号以产生稀疏解空间，从中可以确定相位差的相位缠绕并可以生成深度图像。但是，此多频率调制办法需要在每个调制频率处捕捉多个IR图像才能生成深度图像。ToF相机的电子组件(例如IR激光器、传感器阵列、微控制器)因每次IR图像捕捉而被激活并消耗电能。因此，调制频率的数量越多且在每个频率处捕捉的IR图像的数量越多，ToF相机的功耗就越大。因此，本公开涉及一种用于以降低ToF相机的功耗的方式操作ToF相机的办法。特别地，此办法包括为关键帧生成关键帧深度图像，以及为各关键帧之间的一个或多个连续P帧生成一个或多个P帧深度图像。每个关键帧深度图像是基于针对多个不同调制频率中的每个调制频率的IR图像集合来生成的。每个P帧深度图像是基于针对单个调制频率的IR图像集合生成的。由于使用单个调制频率，故而相对于生成关键帧深度图像所需的IR图像的数量，可以使用较少数量的IR图像来生成P帧深度图像。如此，可使用比关键帧深度图像少的电力来生成P帧深度图像。相对于仅使用多频办法生成深度图像(即，仅生成关键帧深度图像而不生成P帧深度图像)的ToF相机，通过生成各关键帧深度图像之间的一个或多个连续P帧深度图像的ToF相机的功耗可被降低。图1示出了被配置成以上文描述的方式操作的示例ToF相机100的各方面。术语“相机”在本文中指的是具有被配置成对场景或对象102进行成像的至少一个光学孔径和传感器阵列的任何成像组件。相机100包括可单独寻址的传感器106的传感器阵列104。在一些实现中，传感器可以是互补金属氧化物半导体(CMOS)元件，但也设想了其他合适的架构。每个传感器可对宽波长段上的光作出响应，但这不是必须的。例如，对于基于硅的传感器，波长响应的范围可以从300至1100nm。为了简单起见，示意性地例示了仅具有二十五个传感器106的传感器阵列104，尽管对传感器106的数目没有理论上的限制。微透镜阵列108可任选地可直接布置在传感器阵列104上方。微透镜阵列108包括多个微透镜元件110。微透镜阵列108的每个微透镜元件110可配准到传感器阵列104的传感器106。在被包括时，微透镜阵列108可在每个传感器处提供较大的有效填充因子，以提高收集效率并减小像素之间的串扰。ToF照明器112被配置成发射有源IR光以照明对象102。在一个示例中，ToF照明器112包括被配置成发射IR光的IR激光器。在一些实现中，ToF照明器112可任选地可包括覆盖ToF照明器112的照明区域的漫射器114。在此公开中，术语“红外”(IR)光包括约850nm的所谓的近红外(NIR)波长。可以使用包括NIR光的IR光或任何其他合适波长进行深度测量。尽管在图1中未示出，但相机可任选地包括带通滤波器以将到达传感器106的电磁频谱的部分限制为由ToF照明器112发射的电磁频谱的部分。电子控制器116可包括逻辑机和相关联的存储机。存储机可以保存使逻辑机执行本文公开的任何操作、算法、计算或变换的指令。在一些实现中，逻辑机可以采用专用集成电路(ASIC)或片上系统(SoC)的形式，其中一些或全部指令是硬件编码或固件编码的。电子控制器116包括可以可操作地连接到传感器阵列104和/或ToF照明器112的ToF控制器机器118和输出机器120。机器118和120可以被实现为分开的物理硬件和/或固件组件，或者被并入单个硬件和/或固件组件中。ToF控制器机器118被配置成重复地激活ToF照明器112并同步地寻址传感器阵列104的传感器106以采集IR图像。从ToF照明器116发射的有源光信号可以在不同调制频率中被临时地调制以用于不同的IR图像捕捉。在所例示的示例中，ToF控制器机器118激活ToF照明器112以用有源IR光122照明对象102并且同步地寻址传感器阵列104的传感器106。IR光122’从对象102反射回相机100。经反射的IR光122’穿过接收光学器件124并入射在传感器阵列104的传感器106上以提供测量。例如，该测量可以是对从对象到传感器向后反射的有源IR光的强度测量。在所例示的示例中，IR光122’由传感器阵列104的传感器106测量，从而提供了可与相机配置的知识一起使用的相位信息，以确定对象102的位点的世界空间位置。ToF控制器机器118被配置成基于多个捕捉到的IR图像来生成深度图像128。术语“深度图像”指与成像场景的对应区域(Xi,Yi)配准的像素阵列，其中深度值Zi指示针对每个像素的对应区域的深度。“深度”被定义为与相机的光轴平行的坐标，该坐标随着距相机的距离的增加而增加。术语“深度视频”在本文中指的是深度图像的时间分辨的序列。输出机器1本文档来自技高网...

【技术保护点】
1.一种ToF相机，包括：/nToF照明器，所述ToF照明器被配置成发射有源IR光；/n传感器阵列，所述传感器阵列包括多个传感器；以及/nToF控制器机器，所述ToF控制器机器被配置成：/n对于关键帧，基于多个关键帧IR图像集合来生成包括针对所述传感器阵列的所述多个传感器中的每个传感器的深度值的关键帧深度图像，每个关键帧IR图像集合是使用不同调制频率的有源IR光来采集的，/n对于在所述关键帧之后发生的P帧，基于使用单个调制频率的有源IR光所采集的单个P帧IR图像集合来生成包括针对所述传感器阵列的所述多个传感器中的每个传感器的深度值的P帧深度图像；以及/n输出机器，所述输出机器可操作地连接到所述传感器阵列并被配置成输出所述关键帧深度图像和所述P帧深度图像。/n

【技术特征摘要】
【国外来华专利技术】20180517 US 15/983,0541.一种ToF相机，包括：
ToF照明器，所述ToF照明器被配置成发射有源IR光；
传感器阵列，所述传感器阵列包括多个传感器；以及
ToF控制器机器，所述ToF控制器机器被配置成：
对于关键帧，基于多个关键帧IR图像集合来生成包括针对所述传感器阵列的所述多个传感器中的每个传感器的深度值的关键帧深度图像，每个关键帧IR图像集合是使用不同调制频率的有源IR光来采集的，
对于在所述关键帧之后发生的P帧，基于使用单个调制频率的有源IR光所采集的单个P帧IR图像集合来生成包括针对所述传感器阵列的所述多个传感器中的每个传感器的深度值的P帧深度图像；以及
输出机器，所述输出机器可操作地连接到所述传感器阵列并被配置成输出所述关键帧深度图像和所述P帧深度图像。


2.如权利要求1所述的ToF相机，其特征在于，所述ToF控制器机器被配置成：
对于所述关键帧：
重复地激活所述ToF照明器以用有源IR光照明场景，其中所述ToF照明器以多个不同调制频率调制所述有源IR光，
针对所述多个不同调制频率中的每个调制频率，重复地寻址所述传感器阵列以采集表示对从所述场景反射回所述传感器阵列的所述有源IR光的测量的关键帧IR图像集合，
针对所述传感器阵列的所述多个传感器中的每个传感器，基于所述多个IR图像集合来确定深度值，
基于所述多个关键帧IR图像集合标识所述场景的一个或多个特征，
对于所述P帧：
激活所述ToF照明器以用以所述单个调制频率调制的有源IR光照明所述场景，
寻址所述传感器阵列以采集表示对从所述场景反射回所述传感器阵列的所述有源IR光的测量的所述P帧IR图像集合，
基于所述P帧IR图像集合标识所述场景的所述一个或多个特征，
确定所述一个或多个特征从所述关键帧到所述P帧的位置转换，以及
其中所述P帧深度图像的每个深度值是基于所述单个P帧IR图像集合和所述场景的所述一个或多个特征的所述位置转换来确定的。


3.如权利要求1所述的ToF相机，其特征在于，进一步包括：
一个或多个运动传感器，所述一个或多个运动传感器被配置成测量所述ToF相机的位置；
其中所述ToF控制器机器被配置成：
对于所述关键帧：
重复地激活所述ToF照明器以用有源IR光照明场景，其中所述ToF照明器以多个不同调制频率调制所述有源IR光，
针对所述多个不同调制频率中的每个调制频率，重复地寻址所述传感器阵列以采集表示对从所述场景反射回所述传感器阵列的所述有源IR光的测量的关键帧IR图像集合，
针对所述传感器阵列的所述多个传感器中的每...

【专利技术属性】
技术研发人员：S·奥尔蒂斯埃加，HM·林，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US