基于事件的图像传感器及其操作方法技术

一种基于事件的图像传感器包括多个像素电路(1)，每个像素电路(1)包括：感光器电路(10)，感光器电路(10)包括光敏元件(101)并被配置为在输出(11)处传送感光器电流(I

【技术实现步骤摘要】
【国外来华专利技术】基于事件的图像传感器及其操作方法
本专利技术涉及一种基于事件的图像传感器及其操作方法。
技术介绍
传统图像传感器获取以预定帧速率进行时间量化的视觉信息。每个帧都承载来自所有像素的信息，而不管该信息自获取上一帧以来是否发生变化。显然，这种方法根据场景的动态内容，在所记录的图像数据中产生程度或高或低的冗余性。随着现代图像传感器向更高的空间和时间分辨率发展，这个问题变得更加严重。数据后处理所需的硬件的复杂性和成本增加，对传输带宽和数据存储容量的需求激增，功耗增加，导致从需求量较大的高速工业视觉系统到电池供电的移动消费设备的各种视觉应用受到严苛的限制。处理视频数据中时间冗余的一种方法是帧差编码。这种最简单的视频压缩形式包括在初始关键帧之后，逐帧地仅传输超过定义的强度变化阈值的像素值。已知的帧差异成像器依赖于图像数据全帧的获取和处理，并且不能自洽地抑制时间冗余并无法提供实时的压缩视频输出。此外，即使在像素级完成处理和差异量化时，如在所有基于帧的成像设备中一样，场景动态获取的时间分辨率仍然受限于可达到的帧速率，并被时间量化到该帧速率。通过首先不记录冗余数据并直接减少传感器输出级的数据量，可以最有效地避免数据冗余的不利影响。直接的好处是减少了数据传输和后处理的带宽、内存和计算能力需求，从而降低了系统功耗、复杂性和成本。此外，传统CMOS或CCD图像传感器的基于帧的时控操作原理会导致时间分辨率方面的限制，因为场景动态被量化为读出像素视场的帧速率，并且动态范围较差。本专利技术要解决的问题是提供一种图像传感器及其操作方法，用于在宽动态范围(可记录和刻处理光强度的宽动态范围)内以高时间和强度分辨率连续获取观察到的动态场景的全部视觉信息，从而生成最少的必要数据量。因此，所生成的数据不是由包含所有像素的图像信息的连续帧构成，而是由各个像素的强度(即灰度)变化信息流构成的，仅当各个像素的视场光强度的实际变化被像素本身检测到时才记录和传输这些数据。该方法通过完全抑制传统图像传感器所特有的图像信息中的时间冗余，导致所产生的数据大大减少，尽管该数据包含相同或更高的信息内容。可以基于电子电路来实现执行上述方法以及所需的异步数据读出机制的图像传感器的图像元素。例如在CMOS技术中，具有多个这样的图像元素的图像传感器通常被实现和制造为集成的片上系统。实现这样的传感器并因此避免传统图像数据获取的上述缺点对于包括以下项的各种人工视觉应用而言是有益的：工业高速视觉(例如，快速对象识别、运动检测和分析、对象跟踪等)、汽车(例如，用于碰撞预警和回避的实时3D立体视觉、智能后视镜等)、监视和安全(场景监视)或机器人技术(自主导航、SLAM)以及生物医学和科学成像应用。由于传感器的操作受人视网膜的工作原理的启发，因此一个有利的示例应用是基于由这种传感器传送的数据，使用可植入的假体装置来治疗失明患者的退化性视网膜。用于实现上述完全时间冗余抑制的解决方案基于像素个体的预处理和图像信息的获取，所述获取是由事件控制的并且是有条件地(即，仅在检测到场景变化时)。如下所述，图像数据获取的控制被转移到像素级。通常称为瞬态检测器的电子电路用于检测由各个自主操作的像素接收的光照强度的变化，例如在光学瞬态传感器或动态视觉传感器(DVS)的情况下，如专利US7,728,269所述。然而，这样的瞬态检测器电路需要大开关电容器，并且用于评估变化的电压比较器之间的失配也是问题。专利US8,780,240公开了组合瞬态检测器电路(即，曝光强度变化检测器电路)和条件曝光测量电路。仅当已经在像素的视场中检测到特定量级的亮度变化时(并且紧在该检测之后)，瞬态检测器电路才单独并异步启动新曝光测量的测定。这样的像素不依赖于外部定时信号，并且仅在其传送新的灰度值时才独立请求访问(异步和仲裁的)输出信道。因此，视觉上未受到刺激的像素不会产生输出。另外，异步操作避免了基于帧的获取和扫描读出的时间量化。对于每个像素电路，瞬态检测器电路监视从第一光电二极管导出的感光器电压，以检测超过阈值的相对电压变化。在进行这种检测时，瞬态检测器电路输出用于同一像素的曝光测量电路的命令，以开始绝对强度测量，即绝对灰度测量。曝光测量电路使用与第一光电二极管相邻地放置的像素的第二光电二极管，并从使用瞬时光电流对光电二极管结电容放电的持续时间中得出其测量值。但是，US8,780,240中公开的像素电路不是最佳的，因为通过直接光电流积分的基于时间的曝光测量仅在未知的积分时间之后才可用。此外，由于相应的光电流较小，因此常常导致新的曝光值的测量时间过长，尤其是在低像素照度水平下。最后，使用两个单独的光电二极管进行变化检测和曝光测量会导致图像数据获取过程的空间发散和运动方向依赖性，从而导致成像质量下降。专利US2016/0227135A1公开了一种像素电路，包括：-前端电路，其包括单个光电二极管并具有输出，所述前端电路被配置为在所述输出处传送根据所述单个光电二极管的曝光衍生出的感光器信号；-瞬态检测器电路，其被配置为检测在所述输出处传送的所述感光器信号的变化；-曝光测量电路，其被配置为在瞬态检测器电路检测感光器信号的变化时，测量在所述输出处传送的所述感光器信号，所述曝光测量电路具有通过第一开关连接到所述前端电路的所述输出的电容器。但是，在曝光测量电路中，曝光测量仅在未知的积分时间之后仍然可用。另外，像素输出之间的失配可能是问题。例如，在没有像素失配校正方法的情况下，在像素阵列中直接使用对数感光器电路的曝光测量是有问题的。专利US9,631,974公开了一种光阵列，其包括多个单元，其中每个所述单元包括：-被配置为产生与入射在各个单元上的光的强度成比例的光电流的装置；-连接到用于产生光电流的各个装置的变化检测电路，该变化检测电路被配置为仅在发生所述强度变化了阈值量的变化事件的情况下产生输出信号；-亮度读出电路，其被配置为允许读取表示各个单元处的亮度的信号。但是，光电阵列使用具有固定曝光时间的亮度(灰度)值的传统基于帧的读出。亮度读出不是直接由单个像素的变化检测电路触发的，而是像传统图像传感器一样，通过外部控制逐帧执行的。专利US9,528,738公开了一种像素单元，该像素单元包括具有高通滤波器的光变化检测器。然而，像素输出之间的失配可能是问题。例如，在没有像素失配校正方法的情况下，在像素阵列中直接使用对数感光器电路的曝光测量是有问题的。
技术实现思路
本专利技术旨在提供一种基于事件的图像传感器，其像素电路具有较小的面积要求，从而允许较大的阵列尺寸或较小的传感器芯片尺寸。本专利技术的目的还在于加速各个测量过程并因此提高时间分辨率。本专利技术的目的还在于避免由于使用两个分开的光电二极管而引起的变化检测和曝光测量之间的空间差异，从而提高测量精度并因此提高了图像质量。本专利技术的目的还在于单独针对每个单个像素提供在检测到变化之后立即可用的曝光测量。本专利技术还旨在减少像素电路之间的失配。在此方面，本专利技术涉及一种基于事件的图像传本文档来自技高网...

【技术保护点】
1.一种基于事件的图像传感器，包括控制器(2)、地址事件表示电路(3)和形成像素阵列的多个像素电路(1)，所述控制器(2)连接到每个像素电路(1)以控制所述像素电路(1)，每个像素电路(1)包括：/n-感光器电路(10)，其包括光敏元件(101)并具有输出(11)，所述感光器电路(10)被配置为在所述输出(11)处传送根据入射在所述光敏元件(101)上的光衍生出的感光器电流(I

【技术特征摘要】
【国外来华专利技术】20171211 EP 17306740.61.一种基于事件的图像传感器，包括控制器(2)、地址事件表示电路(3)和形成像素阵列的多个像素电路(1)，所述控制器(2)连接到每个像素电路(1)以控制所述像素电路(1)，每个像素电路(1)包括：
-感光器电路(10)，其包括光敏元件(101)并具有输出(11)，所述感光器电路(10)被配置为在所述输出(11)处传送根据入射在所述光敏元件(101)上的光衍生出的感光器电流(IPRout)，
-模拟总线(20)，其选择性地连接到读出单元，所述感光器电路(10)的所述输出(11)选择性地连接到所述模拟总线(20)，
-一组电流存储单元，其连接到所述模拟总线(20)，每个电流存储单元(ISi)适于选择性地存储在所述模拟总线(20)中流动的电流，并选择性地将存储在所述电流存储单元(ISi)内的电流传送到所述模拟总线(20)；
其中每个像素电路(1)包括被配置为检测所述感光器电流(IPRout)的变化的电流比较器(50)，所述电流比较器(50)包括：
-电流符号检测器(51)，其连接到所述模拟总线(20)，并被配置为确定根据比较电流和阈值电流产生的，在所述模拟总线(20)中流动的电流的值的符号，所述比较电流根据至少感光器电流和存储在电流存储单元中的上一感光器电流之间的差产生，
-至少一个存储单元(53、54)，其连接到所述电流符号检测器(51)的输出(52)并具有受所述电流符号检测器(51)的所述输出限制的状态，所述至少一个存储单元(53、54)的状态代表所述感光器电流和所述上一感光器电流之间的变化高于所述阈值电流；
其中所述至少一个数字存储单元(53、54)连接到所述地址事件表示电路(3)，以便所述地址事件表示电路(3)监视所述存储单元(53、54)的状态以确定入射在所述光敏元件(101)上的光的变化；以及
其中通过模拟总线(20)到所述读出单元的连接的像素电路的读出受所述至少一个数字存储单元(53、54)的状态限制。


2.根据权利要求1所述的基于事件的图像传感器，其中所述电流比较器(50)包括第一存储单元(53)和第二存储单元(54)，每个存储单元都连接到所述电流符号检测器(51)的输出(52)并具有受所述电流符号检测器(51)的输出(52)限制的状态，所述第一存储单元(53)的状态代表所述比较电流的值高于第一阈值电流的值，所述第二存储单元(54)的状态表示所述比较电流的值低于第二阈值电流的值。


3.根据权利要求1或2中任一项所述的基于事件的图像传感器，其中通过将存储所述感光器电流的电流存储单元(IS1)和存储所述上一感光器电流的电流存储单元(IS2)连接到所述模拟总线(20)来获得所述比较电流，并将其存储在电流存储单元中，所述阈值电流存储在另一电流存储单元中。


4.根据权利要求1至3中任一项所述的基于事件的图像传感器，其中所述地址事件表示电路(3)被配置为在检测到像素电路(1)的数字存储单元(53、54)的状态变化时确定其数字存储单元已改变状态的所述像素电路(1)的地址。


5.根据权利要求1至4中任一项所述的基于事件的图像传感器，其中所述控制器(2)被配置为向所述像素电路(1)发送指令，并且其中像素电路(1)对至少一个指令的执行受至少一个存储单元(53、54)的状态限制。


6.根据权利要求1至5中任一项所述的基于事件的图像传感器，其中像素电路(1)的所述感光器电路(10)是对数感光器电路，并且所述感光器电流与入射在...

【专利技术属性】
技术研发人员：克里斯托夫·波什，丹尼尔·马托林，
申请(专利权)人：普罗菲西公司，
类型：发明
国别省市：法国;FR