用于SPAD阵列相机的运动补偿制造技术

公开了涉及在单光子雪崩探测器(SPAD)阵列相机上的运动补偿的示例。一个示例提供了在包括SPAD阵列相机和运动传感器的成像设备上实施的一种方法，所述SPAD阵列相机包括多个像素。所述方法包括获取图像数据的多个子帧。图像数据的每个子帧包括针对每个像素的二进制值。基于来自运动传感器的运动数据，所述方法还包括确定成像设备的姿态在相邻子帧之间的变化；基于运动数据向当前子帧应用位置偏移，以将当前子帧中的静止成像特征的位置与先前子帧中的静止成像特征的位置对齐，来创建对齐的子帧；对所述对齐的子帧求和以形成图像；以及输出所述图像。及输出所述图像。及输出所述图像。

【技术实现步骤摘要】
【国外来华专利技术】用于SPAD阵列相机的运动补偿

技术介绍

[0001]单光子雪崩探测器(SPAD)阵列相机可以用于捕获微光信号(诸如在微光条件下)以形成图像。SPAD阵列传感器的每个像素被配置为在通过入射在像素上的光子生成光电子时产生电子雪崩事件。由入射光子触发的电子雪崩表示针对像素的逻辑1的数字读出，而缺少雪崩事件触发针对像素的逻辑0的读出。来自SPAD阵列传感器的单时间选通的逻辑1和0的阵列表示二进制图像数据的子帧。传感器可以以相对高的频率(例如，大约10
‑
200kHz)被时间选通，以生成一系列二进制子帧。通过基于SPAD阵列相机的图像帧速率(例如，作为示例，30
‑
120Hz)对多个二进制子帧求和来形成强度图像(灰度，或者在适当的彩色滤波器位于像素之上的地方的颜色)。

技术实现思路

[0002]提供本概要是为了以简化的形式引入概念的选择，这些概念在下文的详细描述中进一步描述。本概要不是为了识别所要求保护的主题的关键特征或基本特征，也不是为了用于限制所要求保护的主题的范围。此外，所要求保护的主题并不限于解决在本公开的任何部分中提到的任何或所有缺点的实现方式。
[0003]公开了涉及在单光子雪崩探测器(SPAD)阵列相机上的运动补偿的示例。一个示例提供了在包括SPAD阵列相机和运动传感器的成像设备上实施的一种方法，所述SPAD阵列相机包括多个像素，每个像素被配置为感测光。所述方法包括获取图像数据的多个子帧，其中，图像数据的每个子帧包括针对每个像素的二进制值，并且所述多个子帧包括第一子帧和第二子帧。基于来自运动传感器的运动数据，所述方法还包括：确定成像设备的姿态在第一子帧与第二子帧之间的变化；基于运动数据向所述第二子帧应用位置偏移，以将第二子帧中的静止成像特征的位置与第一子帧中的静止成像特征的位置对齐，来创建对齐的子帧；对所述对齐的子帧求和以形成图像；以及输出所述图像。
附图说明
[0004]图1示出了包括SPAD阵列相机和运动传感器的示例性成像设备。
[0005]图2A和图2B示出了由图1的成像设备以不同的姿态观看的示例性场景。
[0006]图3示意性示出了在图2A和图2B中的场景的二进制子帧的示例性对齐。
[0007]图4示出了具有由图1的成像设备成像的动态对象的示例性场景。
[0008]图5示意性示出了在图4中的场景的二进制子帧的像素的示例性对齐。
[0009]图6示出了描绘用于生成图像的示例性方法的流程图。
[0010]图7示出了描绘示例性计算设备的框图。
具体实施方式
[0011]如上文所介绍的，SPAD阵列相机是一种时间选通成像设备，其生成具有包括逻辑1或0的像素值的图像子帧，所述逻辑1或0分别表示针对时间选通的雪崩事件或者无雪崩事
件。通过对一系列二进制子帧求和来生成强度图像。然而，利用SPAD阵列相机的移动设备在图像生成期间捕获子帧时可能经历移动。这可能导致最终图像中的运动模糊。减少最终图像中的运动模糊的一种方案是在图像子帧被求和之后使用去模糊算法作为后处理步骤。然而，这样的后处理去模糊算法会需要额外的处理能力，这可能导致更频繁的电池充电和更短的电池寿命。
[0012]因此，公开了涉及通过在捕获图像数据时使用运动数据来调整SPAD阵列相机的二进制图像数据来减轻由运动引起的模糊的示例。简言之，所公开的示例基于来自运动传感器的运动数据来对齐二进制图像数据的子帧，由此补偿在图像获取期间发生的运动。通过对一系列对齐的子帧序列求和来生成未模糊的图像，由此避免作为后处理步骤的去模糊。
[0013]图1示出了包括单光子雪崩探测器(SPAD)阵列相机102和运动传感器104的示例性成像设备100。尽管成像设备100包括头戴式显示器(HMD)形式的移动设备，但是在其他示例中，包括SPAD阵列相机和运动传感器的成像设备可以以任何其他合适的形式来实现，诸如手持式系统或车辆(例如，诸如无人机的飞行器，或者诸如自动驾驶汽车的汽车)。
[0014]来自运动传感器104的数据能够被用于确定成像设备100的姿态的变化，其中，术语“姿态”指示成像设备100在使用环境中的位置和取向。运动传感器104包括具有一个或多个加速度计、陀螺仪和/或磁力计的惯性测量单元(IMU)。在一些示例中，可以包括其他运动/位置传感器，诸如全球定位系统(GPS)传感器。
[0015]图2A和图2B示出了由成像设备100观看的示例性场景202。成像设备100以第一姿态204A捕获第一子帧(在206A处示意性指示的)，并且以第二姿态204B捕获第二子帧(在206B处示意性指示的)。来自运动传感器104的数据被用于确定成像设备100的姿态在第一姿态204A与第二姿态204B之间的变化。然后，使用成像设备100的姿态的变化来确定在第二子帧206B与第一子帧206A之间的偏移。然后，能够将该偏移应用于移位第二子帧206B(或者第一子帧206A)，并且相对于场景202中的静止对象来对齐子帧，由此允许以减轻将因对未对齐子帧求和而产生的模糊的对齐方式对子帧求和。
[0016]图3示意性图示了对多个子帧的求和。在此，如206A、206B、206C至206N所示的任意数量N个子帧被示出为对齐的子帧，其中，N指示在子帧C之后的子帧的任意数量。尽管为了简单起见每个描绘的子帧包括十六个像素310，但是将理解的是，SPAD阵列相机的每个子帧包括比所图示中的大得多的像素阵列。此外，尽管为了简单起见示出了四个子帧，但是可以以所图示的方式对任何适当数量的子帧进行求和以形成图像。在一些示例中，可以以在10kHz与245kHz之间的频率获取子帧，并且对其进行求和从而以5Hz与120Hz之间的频率产生图像帧。
[0017]图3的箭头308指示在图像数据的每个子帧内的静止成像特征(诸如对象208)的位置。成像设备100使用来自运动传感器104的数据，来确定第一位置偏移304A以将第二子帧206B中的静止成像特征308的位置与第一子帧206A中的静止成像特征308的位置对齐，其中，基于在第一姿态204A与第二姿态204B之间的差异来确定第一位置偏移304A。为了根据运动数据来确定第一位置偏移304A，在一些示例中，能够应用将来自运动传感器的信号与SPAD阵列传感器上的像素位置在水平和垂直方向上的对应平移相关的旋转模型。这样的旋转模型基于设备姿态将SPAD阵列相机的视场中的点映射到像素。在一些示例中，来自运动传感器的信号和包括SPAD阵列相机的一个或多个透镜的透镜系统的畸变模型都能够被用
在旋转模型中，其中，针对透镜系统的畸变模型能够经由校准过程来确定。
[0018]类似地，第二位置偏移304B被确定并且被用于将第三子帧206C与第一子帧206A和第二对齐子帧206B对齐。可以确定额外位置偏移并且将其用于其他子帧对齐，如累积指示为304N，以生成对齐的子帧300。
[0019]要么在捕获N个二进制子帧期间渐进地，要么在捕获N个二进制子帧之后，对齐的子帧300被本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.在包括单光子雪崩探测器(SPAD)阵列相机和运动传感器的成像设备上，所述SPAD阵列相机包括多个像素，每个像素被配置为感测光，一种方法包括：获取图像数据的多个子帧，图像数据的每个子帧包括针对每个像素的二进制值，所述多个子帧包括第一子帧和第二子帧；基于来自所述运动传感器的运动数据，确定所述成像设备的姿态在所述第一子帧与所述第二子帧之间的变化；基于所述运动数据，向所述第二子帧应用位置偏移，以将所述第二子帧中的静止成像特征的位置与所述第一子帧中的所述静止成像特征的位置对齐，来创建对齐的子帧；对所述对齐的子帧求和以形成图像；以及输出所述图像。2.根据权利要求1所述的方法，其中，应用所述位置偏移包括：基于所述运动数据，将第一设备姿态与所述第一子帧相关联并且将第二设备姿态与所述第二子帧相关联，并且其中，应用所述位置偏移包括：基于所述第一设备姿态与所述第二设备姿态之间的差异来应用所述位置偏移。3.根据权利要求2所述的方法，其中，对所述对齐的子帧求和以形成图像还包括：维持针对所述图像的每个像素的像素计数，针对所述图像的每个像素的所述像素计数包括针对跨所有对齐的子帧的所述图像的所述像素的二进制值的和。4.根据权利要求2所述的方法，其中，所述位置偏移是第一位置偏移，并且所述方法还包括：基于来自所述运动传感器的所述运动数据，将第二位置偏移应用到第三子帧，以将所述第三子帧中的所述静止成像特征的位置与所述第一子帧中的所述静止成像特征的位置对齐。5.根据权利要求1所述的方法，其中，确定所述成像设备的姿态的变化还包括：通过基于所述成像设备的姿态在所述第一子帧与所述第二子帧之间的所述变化来应用旋转模型以确定所述位置偏移。6.根据权利要求1所述的方法，其中，所述成像设备包括头戴式设备。7.根据权利要求1所述的方法，其中，所述成像设备包括手持式设备。8.根据权利要求1所述的方法，其中，所述运动传感器包括惯性测量单元。9.一种成像设备，包...

【专利技术属性】
技术研发人员：R，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：