本公开一般涉及用于三维图像感测的系统和方法。更具体地而非限制地，本公开涉及用于检测三维图像以及使用异步图像传感器来检测三维图像的系统和方法。在一种实现方式中，至少一个处理器确定与由投影仪发射到场景上的多个电磁脉冲相关联的多个图案；基于由所述多个电磁脉冲引起的反射从图像传感器接收一个或多个第一信号；基于所接收的信号检测与所述图像传感器的一个或多个第一像素对应的一个或多个第一事件；基于所述一个或多个第一事件，初始化一个或多个状态机；从所述图像传感器接收与所述反射对应的一个或多个第二信号；基于所接收的信号检测与所述图像传感器的一个或多个第二像素对应的一个或多个第二事件；确定用于将所述一个或多个第二事件连接到所述一个或多个第一事件的候选者；以及基于所述候选者和所述一个或多个状态机确定针对所述一个或多个第一像素和所述一个或多个第二像素的三维点。素的三维点。素的三维点。
【技术实现步骤摘要】
【国外来华专利技术】使用动态视觉传感器和图案投影的三维成像和感测
[0001]本公开一般涉及图像感测和处理领域。更具体地而非限制地，本公开涉及用于三维成像和感测的计算机实现的系统和方法。本公开还涉及实现和使用用于三维图像感测的基于事件的图像传感器。本文所公开的图像传感器和技术可用于各种应用和视觉系统，诸如安全系统、自主车辆以及其他受益于快速且高效的三维感测和检测的系统。
技术介绍
[0002]现存的三维图像传感器包括那些产生场景深度图的传感器。此类传感器具有缺点，包括空间或时间分辨率低。现存的用于三维图像感测的传感器还具有其他缺点，诸如计算成本太高和/或具有其他处理限制。
[0003]例如，飞行时间相机通常直接测量深度。在此类相机中，使用激光投影仪发射调制信号，并通过测量发射信号与从所观察场景中对象的反射之间的时间移位来估计距离。根据具体实施，飞行时间系统通常每秒生成多达60张深度图像。然而，大多数飞行时间相机的空间分辨率低(例如，100,000像素或更低)。此外，激光投影仪的使用不允许在低功率应用中使用飞行时间相机，同时保持高范围和高空间分辨率。
[0004]立体相机是基于这样一种想法，即可以将一个视图中的点与另一视图中的点进行匹配。立体相机使用两个相机的相对位置来估计空间中这些点的三维位置。然而，立体相机通常具有有限的图像密度，因为只能测量来自纹理环境的检测点。此外，立体相机的计算成本很高，因此时间分辨率低，并且在低功率应用中的使用受到限制。
[0005]结构光相机的功能类似于立体相机，但使用图案投影仪代替第二相机。通过定义投影图案，结构光相机无需使用第二相机即可执行三角测量。结构光解决方案通常具有更高的空间分辨率(例如，高达300,000像素)。然而，结构光相机的计算成本很高，因此通常具有低时间分辨率(例如，大约30fps)。可增加时间分辨率，但以空间分辨率为代价。与飞行时间相机类似，结构光相机在低功率应用中的使用受限(例如，范围和空间分辨率受限)。
[0006]主动立体图像传感器组合了被动立体和结构光技术。具体地，投影仪投影图案，所述图案可被两个相机识别。这两个图像中的图案的匹配允许通过三角测量来估计匹配点处的深度。在图案不易解码的情况下(诸如室外环境、远程模式等)，主动立体通常可恢复为被动立体。因此，主动立体如结构光技术和立体技术存在时间分辨率低，并且在低功率应用中的使用受到限制。
[0007]最近，已提出了集成了基于事件的相机的结构光系统。在这些系统中，激光束以给定频率投影单个闪烁点。然后，相机可检测由闪烁点引起的对比度变化，而基于事件的相机可以非常高的时间准确性检测到此类变化。检测给定激光频率下对比度的变化允许系统将闪烁点产生的事件与场景中的其他事件区分开来。在一些具体实施中，由两个相机检测投影点，并且使用三角测量重建与闪烁点相对应的点处的深度。
[0008]然而，这些提议的基于事件的具体实施不能实现高空间分辨率和高时间分辨率两者。通过在图像中的随机位置一次仅投影一个点，时间分辨率会直接随所用点位置的数量
而降低。
[0009]此外，即使系统被实现为同时投影多个点，场景也必须保持静止，直到整个时间码被解码。因此，这种方法不能像常规技术那样用于重建动态场景。
技术实现思路
[0010]本公开的实施方案提供了解决前述缺点的计算机实现的系统和方法。在本公开中，提供了用于三维图像感测的系统和方法，其计算效率高并且与动态场景兼容。因此，生成的数据可包括深度信息，允许场景的三维重建(例如，作为点云)。另外，本公开的实施方案可用于诸如增强现实、机器人技术等的低功率应用，同时仍提供与其他较高功率解决方案相比质量相当或甚至更高的数据。
[0011]本公开的实施方案可投影电磁脉冲图案并且在图像传感器处接收那些图案的反射。图案可被索引到投影仪的空间坐标，并且图像传感器可通过接收反射的像素的位置来索引所接收的反射。因此，本公开的实施方案可基于投影仪和像素的空间坐标对深度进行三角测量。
[0012]为了考虑动态场景，本公开的实施方案可使用状态机来跟踪跨图像传感器的像素移动的接收图案。因此，即使不同的像素接收图案的不同部分，也可计算深度。因此，如上所解释，本公开的实施方案可解决现存技术提出的技术问题。
[0013]本公开的实施方案还可提供比现存技术更高的时间分辨率。例如，通过使用已知图案的三角测量(例如，所存储的图案和/或从图案的投影仪提供给执行三角测量的处理器的图案)而不是匹配捕获图像中的点来保持低延时。此外，在不牺牲这种低延时的情况下，状态机的使用提高准确性高于诸如飞行时间的常规技术。
[0014]可通过使用基于事件的图像传感器来进一步提高时间分辨率。这种传感器可基于某些像素处的照明变化超出阈值来捕获场景中的事件。异步传感器可检测投影到场景中的图案，同时减少生成的数据量。因此，可提高时间分辨率。
[0015]此外，如上所述，由于使用基于事件的图像传感器而导致的数据减少可允许每个像素处的光采样率例如从每秒30次或每秒60次(其为典型CMOS图像传感器的帧速率)增加到诸如每秒1,000次、每秒10,000次以及更多的更高速率。与现存技术相比，更高的光采样率提高了图案检测的准确性。
[0016]在一个实施方案中，一种用于检测三维图像的系统可包括：投影仪，所述投影仪被配置为将多个电磁脉冲投影到场景上；图像传感器，所述图像传感器包括多个像素并且被配置为检测场景中由所投影的多个电子脉冲引起的反射；以及至少一个处理器。所述至少一个处理器可被配置为：确定与所述多个电磁脉冲相关联的多个图案；基于所检测到的反射从所述图像传感器接收一个或多个第一信号；基于所接收的第一信号检测与所述图像传感器的一个或多个第一像素对应的一个或多个第一事件；基于所述一个或多个第一事件，初始化一个或多个状态机；基于所检测到的反射从所述图像传感器接收一个或多个第二信号；基于所接收的第二信号检测与所述图像传感器的一个或多个第二像素对应的一个或多个第二事件；确定用于将所述一个或多个第二事件连接到所述一个或多个第一事件的候选者，以及基于所述候选者和所述一个或多个状态机确定针对所述一个或多个第一像素和所述一个或多个第二像素的三维图像点。
[0017]在此类实施方案中，所述一个或多个第一事件可对应于与所述多个电磁脉冲相关联的所述多个图案的开始。此外，所述一个或多个第二事件可对应于与所述多个电磁脉冲相关联的所述多个图案的结束。
[0018]在这些实施方案中的任一实施方案中，多个图案可包括至少两个不同的振幅，所述至少两个不同的振幅在时间上分隔。附加地或替代地，多个图案可包括至少两个不同的波长，所述至少两个不同的波长在时间上分隔。附加地或替代地，多个图案可包括至少两个不同的脉冲长度，所述至少两个不同的脉冲长度分隔一定时长。附加地或替代地，多个图案包括多个脉冲，所述多个脉冲分隔不同时长。在这些实施方案中的任一实施方案中，多个图案可包括具有用于对符号进行编码的所选择的频率、相移或占空比中的至少一个的脉冲本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种用于检测三维图像的系统，所述系统包括：投影仪(301)，所述投影仪被配置为将多个电磁脉冲投影到场景(305)上；以及图像传感器(305)，所述图像传感器包括多个像素并且被配置为检测所述场景中由所投影的多个电磁脉冲引起的反射；其特征在于还包括：至少一个处理器，所述至少一个处理器被配置为：确定(501)与所述多个电磁脉冲相关联的多个图案，基于所检测到的反射从所述图像传感器接收(503)一个或多个第一信号，基于所接收的第一信号检测(505)与所述图像传感器的一个或多个第一像素对应的一个或多个第一事件，基于所述一个或多个第一事件，初始化(507)一个或多个状态机，基于所述所检测到的反射从所述图像传感器接收(509)一个或多个第二信号，基于所接收的第二信号检测(511)与所述图像传感器的一个或多个第二像素对应的一个或多个第二事件，确定(513)用于将所述一个或多个第二事件连接到所述一个或多个第一事件的候选者，以及基于所述候选者和所述一个或多个状态机确定(515)针对所述一个或多个第一像素和所述一个或多个第二像素的三维图像点。2.根据权利要求1所述的系统，其中所述一个或多个第一事件对应于与所述多个电磁脉冲相关联的所述多个图案的开始，或者其中所述一个或多个第一事件对应于与所述多个电磁脉冲相关联的所述多个图案的开始并且所述一个或多个第二事件对应于与所述多个电磁脉冲相关联的所述多个图案的结束。3.根据权利要求1或权利要求2所述的系统，其中所述多个图案包括：至少两个不同的振幅，其在时间上分隔；至少两个不同的波长，其在时间上分隔；至少两个不同的脉冲长度，其分隔一定时长；或多个脉冲，其分隔不同的时长。4.根据任一前述权利要求所述的系统，其中所述多个图案包括具有用于对符号进行编码的所选择的频率、相移或占空比中的至少一个的脉冲。5.根据任一前述权利要求所述的系统，其中所述投影仪被配置为将所述多个电磁脉冲投影到所述场景中的多个空间位置，优选地其中所述空间位置中的至少一个对应于所述一个或多个第一像素中的至少一个，并且所述空间位置中的至少另一个对应于所述一个或多个第二像素中的至少一个。6.根据任一前述权利要求所述的系统，其中所述投影仪被配置为在多个不同的投影时间投影所述多个电磁脉冲，优选地其中所述投影时间中的至少一个对应于所述一个或多个第一事件中的至少一个，并且所述投影时间中的至少另一个对应于所述一个或多个第二事件中的至少一个。7.根据任一前述权利要求所述的系统，其中所述图像传感器的每个像素包括：检测器，所述检测器电连接到至少一个第一光敏元件并且被配置为当与照射在所述至少一个第一光敏元件上的光的亮度成比例的...
【专利技术属性】
技术研发人员：G，
申请(专利权)人：普罗费塞公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。