使用动态视觉传感器进行脉冲光图案捕获的系统和方法技术方案

一种脉冲图像捕获系统，包括脉冲发生电路、动态视觉传感器(DVS)以及DVS扫描和读出电路。向DVS的像素发送全局复位信号以为像素设置参考照度级，然后产生脉冲光图案。在产生脉冲光图案之后，向像素发送全局保持信号，以保持照度变化事件，该照度变化事件指示相对于参考照度级的变化。在向像素发送全局保持信号之后，对从像素接收的事件信号执行DVS扫描和读出操作。在从DVS输出清除伪像之后，从DVS输出中提取脉冲光图案的反射，而没有附加的图像处理。

System and method of pulse light pattern capture using dynamic vision sensor

【技术实现步骤摘要】
使用动态视觉传感器进行脉冲光图案捕获的系统和方法
本专利技术构思的示例性实施例涉及成像系统，并且更具体地，涉及使用动态视觉传感器进行脉冲光图案捕获的系统和方法。
技术介绍
在诸如结构光的深度测量方法中，在场景上应用短脉冲照明或光图案，并且捕获由图案的反射所产生的图像。成像系统的脉冲图像捕获可能受到场景中的环境光的限制，该环境光被添加到所捕获的图像中。这可能由于环境光散粒噪声而导致成像系统的饱和或噪声基底的增加，使得脉冲光图案难以检测。将脉冲光图案与环境光分离需要大量的图像处理，这可能增加系统复杂度和功耗。可以使用动态视觉传感器(DVS)，DVS观察场景并捕获与脉冲光图案相关的事件以及与因相机和物体移动引起的场景变化相关的事件，但是需要多个光脉冲进行检测和大量的处理，以将光脉冲与动态场景隔离开来。如所讨论的，高环境照度环境(如，室外)中的脉冲图像捕获可能是困难的。传统的捕获设置包括脉冲光源和CMOS图像传感器。CMOS图像传感器以固定帧率运行，并产生用于与传感器曝光同步触发脉冲光源的信号。然而，CMOS图像传感器捕获环境光和与脉冲光源相关的光二者。可以应用各种方法来增加所捕获的信号内脉冲光源相对于环境光的比例。例如，可以使用全局快门图像传感器而不使用滚动快门以允许脉冲光持续时间和曝光时间的最大重叠，脉冲光可以被定时为在传感器曝光开始之前开始以用于最大重叠，可以增加脉冲光源的能量，等等。无论如何，环境光和与脉冲光源相关的光都被CMOS图像传感器捕获，然后必须通过随后的图像处理来提取图案。专利技术内容根据本专利技术构思的示例性实施例，一种脉冲图像捕获系统包括脉冲发生电路、动态视觉传感器(DVS)以及DVS扫描和读出电路。脉冲发生电路被配置为在外部物体处产生脉冲光图案。DVS包括具有以矩阵形式布置的多个像素的像素阵列。多个像素被配置为感测来自所述物体反射的脉冲光图案的光量并且输出事件信号。DVS扫描和读出电路被配置为对从多个像素接收的事件信号执行DVS扫描和读出操作以产生DVS输出。向多个像素发送全局复位信号，以针对多个像素中的每一个设置参考照度级。在向多个像素发送全局复位信号之后，产生脉冲光图案。在产生脉冲光图案之后，向多个像素发送全局保持信号，以保持照度变化事件，照度变化事件针对多个像素中的每一个指示相对于参考照度级的变化。在向多个像素发送全局保持信号之后，执行DVS扫描和读出操作。在从DVS输出清除DVS相关伪像之后，从DVS输出中提取所捕获的脉冲光图案的反射，而没有附加的图像处理。根据本专利技术构思的示例性实施例，一种脉冲图像捕获系统包括脉冲发生电路、动态视觉传感器(DVS)、DVS扫描和读出电路以及多个复用器。脉冲发生电路被配置为在外部物体处产生脉冲光图案。DVS包括具有以矩阵形式布置的多个像素的像素阵列。多个像素被配置为执行光感测操作以感测来自外部物体反射的脉冲光图案的光量并且输出事件信号。DVS扫描和读出电路被配置为对从多个像素接收的事件信号执行DVS扫描和读出操作以产生DVS输出。多个复用器被配置为选择多个控制信号。多个控制信号同步脉冲图像捕获系统的操作，使得在产生脉冲光图案之后并且在执行DVS扫描和读出操作之前执行光感测操作。根据本专利技术构思的示例性实施例，在一种操作脉冲图像捕获系统的方法中，所述脉冲图像捕获系统包括动态视觉传感器(DVS)，所述动态视觉传感器(DVS)包括具有多个像素的像素阵列，该方法包括：激活全局复位信号并且向多个像素中的每一个发送全局复位信号以针对多个像素中的每一个设置参考照度级；去激活全局复位信号以使多个像素中的每一个能够感测该像素的相对于参考照度级的照度变化量；激活定向在外部物体处的脉冲光图案；激活全局保持信号并且向多个像素中的每一个发送全局保持信号以保持指示该像素的照度变化量的照度变化事件；对从多个像素接收的事件信号执行DVS扫描和读出操作并且产生DVS输出；以及去激活脉冲光图案。根据本专利技术构思的示例性实施例，在一种操作脉冲图像捕获系统的方法中，所述脉冲图像捕获系统包括动态视觉传感器(DVS)，所述动态视觉传感器(DVS)包括具有多个像素的像素阵列，该方法包括：同步要发送到多个像素的同步全局复位信号的激活和全局保持信号的激活；在全局复位信号的激活和全局保持信号的激活之间激活定向在外部物体处的脉冲光图案；根据响应于脉冲光图案所感测的照度变化量，由多个像素产生事件信号；使用事件信号产生DVS输出；从DVS输出清除DVS相关伪像；以及在清除DVS相关伪像之后从DVS输出提取所捕获的脉冲光图案的反射，而没有附加的图像处理。根据本专利技术构思的示例性实施例，在一种操作脉冲图像捕获系统的方法中，所述脉冲图像捕获系统包括动态视觉传感器(DVS)，所述动态视觉传感器(DVS)包括具有多个像素的像素阵列，该方法包括：同步要发送到多个像素的全局复位信号的激活，以针对多个像素中的每一个设置参考照度级；去激活全局复位信号，以使多个像素中的每一个能够感测该像素的相对于参考照度级的照度变化量；在去激活全局复位信号之后激活定向在外部物体处的脉冲光图案；根据预定阈值和所感测的由脉冲光图案引起的照度变化量之间的比较，由多个像素产生事件信号；以及对从多个像素接收的事件信号执行DVS扫描和读出操作并且产生DVS输出。附图说明通过参考附图详细描述本专利技术构思的示例性实施例，本专利技术构思的上述及其他特点将变得更清楚。图1是示出了根据本专利技术构思的示例性实施例的脉冲图像捕获系统的框图。图2是示出了根据本专利技术构思的示例性实施例的包括多个复用器的脉冲图像捕获系统的框图。图3是示出了根据本专利技术构思的示例性实施例的图1和图2的像素阵列的像素的图。图4是示出了根据本专利技术构思的示例性实施例的操作脉冲图像捕获系统的方法的流程图。图5是示出了根据本专利技术构思的示例性实施例的图4的方法的时序图。具体实施方式本专利技术构思的示例性实施例提供了一种用于使用事件或具有同步全局保持和全局复位机制的动态视觉传感器(DVS)进行脉冲光图案捕获的系统和方法。DVS具有独特的特性，包括高动态范围和检测随时间的对比度变化的能力。响应于全局复位信号，复位所有先前存储的事件，并且每个传感器像素中的电路采样入射的照度作为参考照度级。随后，当入射的照度相对于所存储的参考照度级的任何变化被放大时，传感器像素进入等待监测状态。如果变化超过预定义的灵敏度阈值，则产生对比度变化事件并将其记录在传感器像素中。全局保持信号在被激活或断言时，锁定所记录的事件并阻止记录其他事件，直到该全局保持信号被去激活为止。DVS读出和扫描电路从像素读取所记录的事件。因此，上述系统和方法可以捕获由施加在场景上的短照明图案的反射引起的二值图像，同时抑制由环境光和场景内容导致的其他信号。以下将参考附图更全面地描述本专利技术构思的示例性实施例。贯穿说明书和附图，相同附图标记可以表示相同元件。图1是示出了根据本专利技术构思的示例性实施例的脉冲图像捕获系统的框图。参考图1，脉冲图像捕获系统100包括脉本文档来自技高网...

【技术保护点】
1.一种脉冲图像捕获系统，包括：/n脉冲发生电路，被配置为在外部物体处产生脉冲光图案；/n动态视觉传感器DVS，包括具有以矩阵形式布置的多个像素的像素阵列，其中所述多个像素被配置为感测来自所述外部物体反射的脉冲光图案的光量并且输出事件信号；以及/nDVS扫描和读出电路，被配置为对从所述多个像素接收的所述事件信号执行DVS扫描和读出操作以产生DVS输出，/n其中，向所述多个像素发送全局复位信号，以针对所述多个像素中的每一个设置参考照度级，/n在向所述多个像素发送全局复位信号之后，产生脉冲光图案，/n在产生所述脉冲光图案之后，向所述多个像素发送全局保持信号，以保持照度变化事件，所述照度变化事件针对所述多个像素中的每一个指示相对于所述参考照度级的变化，/n在向所述多个像素发送全局保持信号之后，执行所述DVS扫描和读出操作，以及/n在从所述DVS输出中清除DVS相关伪像之后，从所述DVS输出中提取所捕获的脉冲光图案的反射，而没有附加的图像处理。/n

【技术特征摘要】
20180814 US 16/103,3791.一种脉冲图像捕获系统，包括：
脉冲发生电路，被配置为在外部物体处产生脉冲光图案；
动态视觉传感器DVS，包括具有以矩阵形式布置的多个像素的像素阵列，其中所述多个像素被配置为感测来自所述外部物体反射的脉冲光图案的光量并且输出事件信号；以及
DVS扫描和读出电路，被配置为对从所述多个像素接收的所述事件信号执行DVS扫描和读出操作以产生DVS输出，
其中，向所述多个像素发送全局复位信号，以针对所述多个像素中的每一个设置参考照度级，
在向所述多个像素发送全局复位信号之后，产生脉冲光图案，
在产生所述脉冲光图案之后，向所述多个像素发送全局保持信号，以保持照度变化事件，所述照度变化事件针对所述多个像素中的每一个指示相对于所述参考照度级的变化，
在向所述多个像素发送全局保持信号之后，执行所述DVS扫描和读出操作，以及
在从所述DVS输出中清除DVS相关伪像之后，从所述DVS输出中提取所捕获的脉冲光图案的反射，而没有附加的图像处理。


2.根据权利要求1所述的脉冲图像捕获系统，其中，发送全局复位信号、产生脉冲光图案、发送全局保持信号以及执行DVS扫描和读出操作的过程重复预定遍数，以及
对预定遍数的DVS输出进行平均以产生最终的DVS输出。


3.根据权利要求1所述的脉冲图像捕获系统，其中，所述脉冲光图案由发光二极管LED和垂直腔表面发射激光器VCSEL之一产生。


4.根据权利要求1所述的脉冲图像捕获系统，其中，所述脉冲光图案包括图案序列。


5.根据权利要求4所述的脉冲图像捕获系统，其中，所述图案序列包括至少两个不同的图案。


6.根据权利要求1所述的脉冲图像捕获系统，其中，所述全局复位信号和所述全局保持信号由所述脉冲发生电路以及所述DVS扫描和读出电路之一产生。


7.根据权利要求1所述的脉冲图像捕获系统，其中，所述全局复位信号和所述全局保持信号由外部控制器产生。


8.根据权利要求1所述的脉冲图像捕获系统，还包括：配置寄存器，被配置为存储所述脉冲图像捕获系统的捕获速率并且产生所述全局保持信号和所述全局复位信号。


9.一种脉冲图像捕获系统，包括：
脉冲发生电路，被配置为在外部物体处产生脉冲光图案；
动态视觉传感器DVS，包括具有以矩阵形式布置的多个像素的像素阵列，其中所述多个像素被配置为执行光感测操作以感测来自外部物体反射的脉冲光图案的光量并且输出事件信号；
DVS扫描和读出电路，被配置为对从所述多个像素接收的所述事件信号执行DVS扫描和读出操作以产生DVS输出；以及
多个复用器，被配置为选择多个控制信号，
其中，所述多个控制信号同步所述脉冲图像捕获系统的操作，使得在产生所述脉冲光图案之后并且在执行所述DVS扫描和读出操作之前执行所述光感测操作。


10.根据权利要求9所述的脉冲图像捕获系统...

【专利技术属性】
技术研发人员：约尔·亚夫，南森·亨利·利维，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR