用于同步图像传感器的系统和方法技术方案

本公开描述了与具有不同曝光持续时间的图像传感器的同步相关的系统、方法和设备。在一些实施例中，系统可以包括具有不同曝光持续时间的多个图像传感器，例如照相机。数据管理部件可以被配置成从图像传感器接收传感器数据。此外，同步部件可以被配置为向图像传感器发送快门同步脉冲。最后，跟踪部件可以被配置为至少部分地基于快门同步脉冲，将图像传感器的不同曝光持续时间在时间上对中。还公开了各种其他系统和方法。

【技术实现步骤摘要】
【国外来华专利技术】用于同步图像传感器的系统和方法交叉引用本申请要求于2018年4月9日提交的题为“SYSTEMSANDMETHODSFORSYNCHRONIZINGIMAGESENSORS”的第15/948,242号美国非临时申请的优先权，其全部内容通过引用结合于此。背景增强现实(AR)和虚拟现实(VR)眼戴式设备(eyeweardevice)或头戴式设备(headset)可以使用户能够体验激动人心的事件，例如在计算机生成的三维世界模拟中与人交互，或者查看叠加在现实世界视图上的数据。AR/VR眼戴式设备和头戴式设备也可以用于娱乐以外的目的——政府可以用它们来模拟军事训练、医生可以用它们来练习外科手术、工程师可以用它们来作为可视化辅助工具。AR/VR系统通常包括多个图像传感器或照相机，或者集成在眼戴式设备或头戴式设备本身内，或者安装在各种外部设备或附件上。这些图像传感器通常需要不同曝光持续时间，这是由于例如图像传感器暴露于不同的照明场景(例如，明亮对比昏暗的环境)和/或由于它们的预期目的(例如，对于VR头戴式设备的内向外位置跟踪(inside-outpositionaltracking)，可能需要比跟踪具有嵌入式红外发光二极管的VR控制器更长的曝光持续时间)。同步具有不同曝光持续时间的图像传感器的传统尝试通常包括对齐传感器各自曝光持续时间的开始。然而，如果这些曝光持续时间的开始是对齐的，它们的中心点通常会未对齐，因为它们的长度不同。不幸的是，这可能导致在这些曝光持续时间期间捕获的对象或特征的质心未对齐(尤其是如果头戴式设备/图像传感器或者被跟踪的对象或特征正在移动)，这可能导致用于跟踪这些对象或特征的计算机视觉计算中的误差。例如，如果由安装在VR头戴式设备上不同位置处的图像传感器捕获的对象的质心未对齐，VR跟踪系统可能难以准确地跟踪VR用户的头部姿态。概述如下文将更详细描述的，本公开描述了使具有不同曝光持续时间的图感器同步的各种方法，以正确地跟踪由这种图像传感器捕获的帧内的对象和/或特征。根据一些实施例，能够完成这种任务的装置可以包括：数据管理部件，其被配置为从具有不同曝光持续时间的多个图像传感器接收传感器数据；同步部件，其被配置为向多个图像传感器发送快门同步脉冲；以及跟踪部件，其被配置为将多个图像传感器的不同曝光持续时间对中(center)。可以至少部分地基于快门同步脉冲将多个图像传感器的不同曝光持续时间对中。在一些示例中，为了将不同曝光持续时间在时间上对中，跟踪部件还可以被配置成：(1)识别比第二图像传感器的第二曝光持续时间短的第一图像传感器的第一曝光持续时间，(2)至少部分地基于第一曝光持续时间的长度和第二曝光持续时间的长度，计算第一曝光持续时间的消隐持续时间(blankingduration)，该消隐持续时间将第一曝光持续时间与第二曝光持续时间在时间上对中，然后(3)指示同步部件将消隐持续时间加到第一曝光持续时间上，以将第一曝光持续时间与第二曝光持续时间在时间上对中。在一些实施例中，不同曝光持续时间中的一个可以与动态变化的光环境相关联。在一些示例中，至少一个图像传感器可以被配置成在不同长度的曝光持续时间之间交替。在这些示例中，不同长度的交替曝光持续时间内的初始曝光持续时间可以短于不同长度的交替曝光持续时间内的后续曝光持续时间。此外，跟踪部件可以被配置成使用在后续曝光持续时间期间获得的传感器数据，来跟踪包括多个图像传感器的头戴式显示系统。跟踪部件还可以被配置成使用在初始曝光持续时间期间获得的传感器数据，来跟踪与头戴式显示系统相关联的外部控制器。在初始曝光持续时间期间获得的传感器数据可以包括基准的图像。在一些示例中，这些基准可以是由外部控制器内的红外(IR)发光二极管(LED)发射的光的图案。此外，跟踪部件可以被配置成使得至少一个图像传感器交替地捕获位置跟踪帧和控制器跟踪帧。在一些示例中，控制器跟踪帧可以在位置跟踪帧之前。在这些示例中，为了将位置跟踪帧的曝光持续时间与另一图像传感器的另一个位置跟踪帧的曝光持续时间在时间上对中，跟踪部件可以被配置成：(1)计算控制器跟踪帧的垂直定时大小(verticaltimingsize)，该垂直定时大小将导致位置跟踪帧与另一个位置跟踪帧在时间上对中，以及(2)指示同步部件配置至少一个图像传感器，以使用所计算的控制器跟踪帧的垂直定时大小来将位置跟踪帧与另一个位置跟踪帧在时间上对中。在一些实施例中，快门同步脉冲可以包括帧同步输入。类似地，相应的系统可以包括具有不同曝光持续时间的多个图像传感器、被配置为从多个图像传感器接收传感器数据的数据管理部件、被配置为向多个图像传感器发送快门同步脉冲的同步部件、以及被配置为至少部分地基于快门同步脉冲，将多个图像传感器的不同曝光持续时间在时间上对中的跟踪部件。在一些实施例中，为了将不同曝光持续时间在时间上对中，跟踪部件可以被配置成：(1)识别比第二图像传感器的第二曝光持续时间短的第一图像传感器的第一曝光持续时间，(2)至少部分地基于第一曝光持续时间的长度和第二曝光持续时间的长度，计算将第一曝光持续时间与第二曝光持续时间在时间上对中的第一曝光持续时间的消隐持续时间，然后(3)指示同步部件将消隐持续时间加到第一曝光持续时间上，以将第一曝光持续时间与第二曝光持续时间在时间上对中。不同曝光持续时间可以与动态变化的光环境相关联。此外，至少一个图像传感器可以被配置成在不同长度的多个曝光持续时间之间交替。在一个示例中，不同长度的交替曝光持续时间内的初始曝光持续时间可以短于不同长度的交替曝光持续时间内的后续曝光持续时间。在该示例中，跟踪部件可以被配置成使用在后续曝光持续时间期间获得的传感器数据来跟踪包括多个图像传感器的头戴式显示系统，并且使用在初始曝光持续时间期间获得的传感器数据来跟踪与头戴式显示系统相关联的外部控制器。在初始曝光持续时间期间获得的传感器数据可以包括由外部控制器内的IRLED发射的光的图案的图像。此外，跟踪部件可以被配置成使得至少一个图像传感器交替地捕获位置跟踪帧和控制器跟踪帧。在一些实施例中，快门同步脉冲可以例如通过物理线路上的事件表示帧同步输入。在其他实施例中，帧同步输入可以是经由命令总线协议发送到图像传感器的命令。跟踪部件还可以被配置成改变多个图像传感器中的每一个的曝光持续时间。相应的计算机实现的方法可以包括：识别多个图像传感器的不同曝光持续时间、向多个图像传感器发送快门同步脉冲、以及至少部分地基于快门同步脉冲，将多个图像传感器的不同曝光持续时间在时间上对中。在一些示例中，上述方法可以被编码为在计算机可读介质上的计算机可读指令。例如，计算机可读介质可以包括一个或更多个计算机可执行指令，当由计算设备的至少一个处理器执行时，该指令可以使计算设备识别多个图像传感器的不同曝光持续时间、向多个图像传感器发送快门同步脉冲、以及至少部分地基于快门同步脉冲，将多个图像传感器的不同曝光持续时间在时间上对中。在一些示例中，一个或更多个计算机可读非暂时性存储介质体现软件，该软件在被执行时可操作以在根据本专利技术或任本文档来自技高网...

【技术保护点】
1.一种装置，包括：/n数据管理部件，其被配置为从具有不同曝光持续时间的多个图像传感器接收传感器数据；/n同步部件，其被配置为向所述多个图像传感器发送快门同步脉冲；和/n跟踪部件，其被配置为至少部分地基于所述快门同步脉冲，将所述多个图像传感器的不同曝光持续时间在时间上对中。/n

【技术特征摘要】
【国外来华专利技术】20180409 US 15/948,2421.一种装置，包括：
数据管理部件，其被配置为从具有不同曝光持续时间的多个图像传感器接收传感器数据；
同步部件，其被配置为向所述多个图像传感器发送快门同步脉冲；和
跟踪部件，其被配置为至少部分地基于所述快门同步脉冲，将所述多个图像传感器的不同曝光持续时间在时间上对中。


2.根据权利要求1所述的装置，其中，为了将所述不同曝光持续时间在时间上对中，所述跟踪部件还被配置成：
识别比第二图像传感器的第二曝光持续时间短的第一图像传感器的第一曝光持续时间；
至少部分地基于所述第一曝光持续时间的长度和所述第二曝光持续时间的长度，计算所述第一曝光持续时间的消隐持续时间，所述消隐持续时间将所述第一曝光持续时间与所述第二曝光持续时间在时间上对中；和
指示所述同步部件将所述消隐持续时间加到所述第一曝光持续时间上，以将所述第一曝光持续时间与所述第二曝光持续时间在时间上对中。


3.根据权利要求1所述的装置，其中，所述不同曝光持续时间中的至少一个与动态变化的光环境相关联。


4.根据权利要求1所述的装置，其中，所述多个图像传感器中的至少一个图像传感器被配置成在不同长度的多个曝光持续时间之间交替。


5.根据权利要求4所述的装置，其中，不同长度的交替曝光持续时间内的初始曝光持续时间短于所述不同长度的交替曝光持续时间内的后续曝光持续时间。


6.根据权利要求5所述的装置，其中，所述跟踪部件还被配置成：
使用在所述后续曝光持续时间期间获得的传感器数据，跟踪包括所述多个图像传感器的头戴式显示系统；和
使用在所述初始曝光持续时间期间获得的传感器数据，跟踪与所述头戴式显示系统相关联的外部控制器。


7.根据权利要求6所述的装置，其中，在所述初始曝光持续时间期间获得的传感器数据包括由所述外部控制器内的红外发光二极管发射的光的图案的图像。


8.根据权利要求4所述的装置，其中，所述跟踪部件还被配置成使得所述至少一个图像传感器交替地捕获位置跟踪帧和控制器跟踪帧。


9.根据权利要求8所述的装置，其中：
所述控制器跟踪帧在所述位置跟踪帧之前；和
为了将所述位置跟踪帧的曝光持续时间与另一图像传感器的另一个位置跟踪帧的曝光持续时间在时间上对中，所述跟踪部件还被配置成：
计算所述控制器跟踪帧的垂直定时大小，所述垂直定时大小将导致所述位置跟踪帧与所述另一个位置跟踪帧在时间上对中；和
指示所述同步部件配置所述至少一个图像传感器，以使用所计算的所述控制器跟踪帧的垂直定时大小来将所述位置跟踪帧与所述另一个位置跟踪帧在时间上对中。


10.根据权利要求1所述的装置，其中，所述快门同步脉冲包括帧同步输入。


11.一种系统，包括：
多个图像传感器，其具有不同曝光持续时间；
数据管理部件，其被配置为从所述多个图像传感器接收传感器数据；
同步部件，其被配置为向所述多个图像传感器发送快门同步脉冲；和
跟踪部件，其被配置为至少部分地基于所述快门同步脉冲，将所述多个图像传感器的不同曝光持续时间在时间上对中。


12.根据权利要求11所述的系统，其中，为了将所述不同曝光持续时间在时间上对中，所述跟踪部件还被配置成：
识别比第二图像传感器的第二曝光持续时间短的第一图像传感器的第一曝光持续时间；
至少部分地基于所述第一曝光持续时间的长度和所述第二曝光持续时间的长度，计算所述第一曝光持续时间的消隐持续时间，所述消隐持续时间将所述第一曝光持续时间与所述第二曝光持续时间在时间上对中；和
指示所述同步部件将所述消隐持续时间加到所述第一曝光持续时间上，以将所述第一曝光持续时间与所述第二曝光持续时间在时间上对中。


13.根据权利要求11所述的系统，其中，所述不同曝光持续时间中的至少一个与动态变化的光环境相关联。


14.根据权利要求11所述的系统，其中，所述多个图像传感器中的至少一个图像传感器被配置成在不同长度的多个曝光持续时间之间交替。


15.根据权利要求14所述的系统，其中，不同长度的交替曝光持续时间内的初始曝光持续时间短于所述不同长度的交替曝光持续时间内的后续曝光持续时间。


16.根据权利要求15所述的系统，其中所述跟踪部件还被配置成：
使用在所述后续曝光持续时间期间获得的传感器数据，跟踪包括所述多个图像传感器的头戴式显示系统；和
使用在所述初始曝光持续时间期间获得的传感器数据，跟踪与所述头戴式显示系统相关联的外部控制器。


17.根据权利要求16所述的系统，其中，在所述初始曝光持续时间期间获得的传感器数据包括由所述外部控制器内的红外发光二极管发射的光的图案的图像。


18.根据权利要求15所述的系统，其中，所述跟踪部件还被配置成使所述至少一个图像传感器交替地捕获位置跟踪帧和控制器跟踪帧。


19.根据权利要求11所述的系统，其中，所述跟踪部件被配置成改变所述多个图像传感器中的每一个的曝光持续时间。


20.一种计算机实现的方法，包括：
识别多个图像传感器的不同曝光持续时间；
向所述多个图像传感器发送快门同步脉冲；和
至...

【专利技术属性】
技术研发人员：高拉夫·阿加沃尔，普拉温·萨扬·泰姆卡内，
申请(专利权)人：脸谱科技有限责任公司，
类型：发明
国别省市：美国;US