相机制造技术

本申请涉及相机。公开了一种飞行时间相机。该相机包括多像素传感器和光源，光源被布置成发射在传感器的视场上具有空间不均匀强度的照明。相机还包括致动机构，以用于移动照明跨越传感器的视场的至少一部分，从而允许生成场景的三维表示。传感器具有至少60帧/秒的原生帧。原生帧。原生帧。

【技术实现步骤摘要】
相机
[0001]领域
[0002]本申请涉及飞行时间(ToF)相机。
[0003]背景
[0004]飞行时间(ToF)相机越来越多地被消费产品(且尤其是移动手持装置)采用。ToF相机收集深度数据，深度数据可用于增强对于增强现实(AR)应用的用户体验和改善摄影(photography)。
[0005]有许多参数可以评估3D传感相机的性能。三个关键参数是距离(range)、分辨率和帧率。理想的相机将实现远距离、高分辨率和高帧率。对于移动手持装置，距离应该至少为3m，优选地至少为5m，并且最优选地至少为10m。帧率应该至少为15fps，优选地至少为30fps，并且最优选地至少为60fps。分辨率应该至少为QVGA(0.1MPix)，优选地至少为VGA(0.3MPix)，并且最优选地至少为1MPix。
[0006]WO 2020/030916 A1描述了增加ToF相机的距离的方法。该文档中描述的距离增加的一个方面是堆叠多个帧以构建最终帧(final frame)。帧的这种组合被称为深度堆叠。
[0007]利用深度堆叠的ToF相机可以用当前最先进的间接飞行时间(iToF)传感器来构建。然而，这些系统受到净帧输出速率较低的困扰。这是因为目前的iToF传感器通常只能达到30帧/秒(fps)。然而，通过将多个帧堆叠在一起，净帧率降低，并且这导致当场景中的对象正在移动时的运动模糊。例如，如果堆叠4帧，则最终图像以30/4＝7.5fps刷新。更优选地，组合至少16帧，这将帧率降低到仅约2fps。
[0008]概述
[0009]根据本专利技术的第一方面，提供了一种ToF相机。
[0010]在下文的一个或更多个实施方案中可实现本申请的各个方面。
[0011]1)一种飞行时间相机，其特征在于，包括：
[0012]多像素传感器和光源，所述光源被布置成发射在所述传感器的视场上具有空间不均匀强度的照明；和
[0013]致动机构，所述制动机构用于移动所述照明跨越所述传感器的视场的至少一部分，从而允许生成场景的三维表示；
[0014]所述传感器具有至少60帧/秒的原生帧。
[0015]2)根据1)所述的相机，其中，所述传感器具有至少100帧/秒的原生帧。
[0016]3)根据2)所述的相机，其中，所述传感器具有至少200帧/秒的原生帧。
[0017]4)一种操作根据1)
‑
3)中任一项所述的飞行时间相机的方法，所述方法包括：
[0018]获得数量N≥2的初始帧，每个初始帧对应于所述场景的三维表示；
[0019]组合N个初始帧，从而生成对应于所述场景的三维表示的最终帧。
[0020]5)根据4)所述的方法，其中，N≥4。
[0021]6)根据4)或5)所述的方法，其中，所述最终帧的帧率至少为30帧/秒。
[0022]7)根据4)至6)中任一项所述的方法，其中，所述组合是使用不主动补偿所述场景中的运动的算法来执行的。
[0023]8)一种非暂时性计算机可读介质，在所述非暂时性计算机可读介质上存储有软件指令，所述软件指令在由处理器执行时使得所述处理器执行根据4)至7)中任一项所述的方法。
[0024]附图简述
[0025]现在将参考附图仅以示例的方式描述本专利技术的某些实施例，在附图中：
[0026]图1示出了ToF相机的示例中的帧的组合；
[0027]图2示出了由ToF相机的示例产生的图像中的运动模糊；
[0028]图3示出了ToF相机的另一示例；以及
[0029]图4示出了ToF相机的另一示例中的帧的组合。
[0030]详细描述
[0031]图1示出了组合来自30fps iToF传感器的4个帧以创建7.5fps的最终帧的示例。子帧(1、2、3、4)中的每个需要33ms才能被捕获，且这意味着这四个帧的完整堆叠花费133ms。
[0032]图2示出了由于这个问题导致的ToF相机的运动模糊的示例。在图2中，显示的深度图是通过堆叠多个帧生成的。因此，深度图包含运动模糊。由于深度数据质量较低，这种运动模糊会导致AR应用中的用户体验较差。
[0033]因此，希望设计减少运动模糊的ToF相机。本申请描述了一种改进的ToF相机，该ToF相机能够减少由于帧堆叠引起的运动模糊。
[0034]对于使用传统RGB相机的高动态范围(HDR)图像，由于帧堆叠而导致的运动模糊是一个已知的问题。HDR图像是通过堆叠在不同曝光下捕获的多个帧而创建的。用于处理HDR图像的算法通常具有(通常通过牺牲选择性曝光)避免产生运动模糊的特征。所描述的运动模糊问题的一个解决方案是实现类似于HDR算法的算法。然而，对于ToF相机，使用算法来减少运动模糊可能不那么有效，因为目标是恢复分辨率，而不是选择最佳曝光。这些算法在计算上也是昂贵的，需要电力和系统资源来运行。因此，使用算法方法虽然可能有用，但并不理想。
[0035]相反，本申请使用了具有较高原生帧率的传感器。通过将具有较高原生帧率的传感器与简单的帧堆叠算法结合，我们可以以提高的帧率恢复全分辨率深度图，并从而减少运动模糊。
[0036]在图3中示出了完整的ToF相机示例。ToF相机包括发送端和接收端。在这个示例中，发送端包括垂直腔面发射激光器(VCSEL)、透镜和衍射光学器件，以在远场中生成光斑图案。另外，形状记忆合金(SMA)致动器(或另一致动器类型)用于扫描整个场景中的点图案，如(通过引用并入本文的)WO 2020/030916 A1中所述。接收端包括透镜和ToF传感器。在本申请中，传统的ToF传感器被支持高的原生帧率的传感器所取代。
[0037]在本申请中，ToF相机中的传感器支持较高的原生帧率。原生帧率可能大于60fps，更优选地大于100fps，并且最优选地大于200fps。通过提高原生帧率，可以使ToF相机更快地生成全帧。ToF相机可以堆叠至少2帧，或者更优选地至少4帧，并且最优选地至少16帧。举例来说，图4示出了4帧被组合的示例，其中ToF相机具有ToF传感器，该ToF传感器具有120fps的原生帧率。这意味着每一帧都是在约8.3ms内捕获的，且组合4帧总共需要33ms。因此，图4中的ToF相机可以实现30fps的净帧率。
[0038]由于提高了帧率，因此不再需要使用复杂的算法来组合子帧，且因此可以使用简
单得多的帧堆叠算法。
[0039]这种ToF相机的优点是运动模糊显著减少，并且实现这一点并不需要计算上困难的算法。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种飞行时间相机，其特征在于，包括：多像素传感器和光源，所述光源被布置成发射在所述传感器的视场上具有空间不均匀强度的照明；和致动机构，所述制动机构用于移动所述照明跨越所述传感器的视场的至少一部分，从而允许生成场景的三维表示；所述传感器具有至少60帧/秒的原生帧。2.根据权利要求1所述的相机，其中，所述传感器具有至少100帧/秒的原生帧。3.根据权利要求2所述的相机，其中，所述传感器具有至少200帧/秒的原生帧。4.一种操作根据任一前述权利要求所述的飞行时间相机的方法，所述方法包括：获得数量N≥...

【专利技术属性】
技术研发人员：多米尼克，
申请(专利权)人：剑桥机电有限公司，
类型：发明
国别省市：