事件传感设备及方法技术

本发明专利技术涉及一种事件相机传感器。为此，本发明专利技术提出了一种包括多个像素传感器的事件传感设备，其中，一个或多个阈值与所述多个像素传感器中的每个像素传感器相关联。每个像素传感器用于：检测所述像素传感器处入射光的强度的时间依赖性变化；如果所述强度的时间依赖性变化超过与所述像素传感器相关联的一个或多个阈值中的任何一个阈值，则生成事件，其中，每个事件与时间戳和阈值相关联；生成一个或多个事件流，每个事件流包括与相同阈值相关联的多个所述事件。所述事件传感设备还用于从所述多个像素传感器基于多个阈值生成的多个事件流重建多个独立强度信号。重建多个独立强度信号。重建多个独立强度信号。

【技术实现步骤摘要】
【国外来华专利技术】事件传感设备及方法


[0001]本专利技术大体上涉及数据处理，更具体地，涉及基于事件的相机的图像处理。本专利技术提出了一种用于感测事件的设备和方法，其中，所述设备和方法可用于基于事件的相机中的图像处理。

技术介绍

[0002]基于事件的相机使用各种类型的传感器，这些传感器对入射光强度的变化做出响应。在标准相机中，每个像素以固定速率捕获入射光量，相比之下，基于事件的相机是异步的，只有当检测到入射光强度的变化时，基于事件的相机的像素才会激活。因此，这种相机的输出数据速率是可变的。当入射光强度没有变化时，也没有激活的像素，因此相机不会生成数据。例如，在移动对象的情况下，捕获对象强度的像素将生成事件(由像素感测到的入射光的变化触发)。基于事件的相机传感器的像素通常捕获入射光强度的对数，然后在附加的传感器电路中对该对数进一步处理。
[0003]通常，事件是基于灵敏度阈值在像素中生成的。对于无噪声情况(即，干净的对数强度信号)，较小的灵敏度阈值是最佳选择。但是，对于现实世界的噪声情况，如何选择适当的灵敏度阈值并不容易。

技术实现思路

[0004]鉴于上述限制，本专利技术的实施例旨在引入一种从事件获得高质量(即，极高信噪比)重建的对数强度信号的方法。具体地，目标是使用更准确的灵敏度阈值。一个目的是启用重建强度信号的更多数量的时间样本，同时保持较低的噪声水平。
[0005]通过所附独立权利要求中提供的实施例实现所述目的。这些实施例的有利实现方式在从属权利要求中进一步定义。
[0006]本专利技术的第一方面提供了一种事件传感设备，其中，所述事件传感设备包括一个或多个像素传感器，其中，一个或多个阈值与所述一个或多个像素传感器中的每个像素传感器相关联，并且每个像素传感器用于：检测所述像素传感器处入射光的强度的时间依赖性变化；如果所述强度的时间依赖性变化超过与所述像素传感器相关联的所述一个或多个阈值中的任何一个阈值，则生成事件，其中，每个事件与时间戳和阈值相关联；生成一个或多个事件流，每个事件流包括与相同阈值相关联的多个所述事件；其中，所述事件传感设备还用于：从所述一个或多个像素传感器基于多个阈值生成的多个事件流重建多个独立强度信号。
[0007]第一方面的设备能够从基于多个不同灵敏度阈值生成的事件流重建高质量强度信号。因此，灵敏度阈值可以更准确。与每个像素传感器使用单个灵敏度阈值的传统方案相比，第一方面的设备能够为重建强度帧提供更多数量的时间样本，同时保持低噪声水平。
[0008]在第一方面的一种实现方式中，所述强度的时间依赖性变化包括所述强度从一个时间点到连续时间点的变化。
[0009]在第一方面的一种实现方式中，每个像素传感器包括一对或多对差分器和比较器，每个差分器用于计算所述入射光的所述强度的所述时间依赖性变化，每个比较器用于：如果所述强度的时间依赖性变化超过预定阈值，则生成事件，并用于生成事件流。
[0010]传统上，像素传感器包括一个差分器和一个比较器。差分器计算对数强度的当前值与先前值之间的差值。当差值大于正阈值Th(也称为灵敏度)时，比较器生成“+1”事件；当差值小于负阈值
–
Th时，生成
“–
1”事件。在第一方面的设备的这种实现方式中，像素传感器可以包括一对以上差分器和比较器。这表示，当像素传感器包括多对差分器和比较器时，像素传感器将生成多个事件流。需要说明的是，每个事件流对应于预定阈值。
[0011]在第一方面的一种实现方式中，每个像素传感器包括至少两对差分器和比较器，每个比较器设置有相应的预定阈值，并用于基于所述相应的预定阈值生成事件流，其中，所述预定阈值彼此不同。
[0012]需要说明的是，对于同一像素传感器的不同比较器，可以设置或预定不同的阈值。如果为两个比较器设置了相同的阈值，则可以生成两个类似的事件流。
[0013]在第一方面的一种实现方式中，所述事件传感设备还用于：从所述比较器生成的每个事件流重建每个比较器的独立强度信号；通过融合所述像素传感器的至少两个比较器的重建的独立强度信号，为每个像素传感器生成最终强度信号。
[0014]从每个事件流中，可以计算独立强度信号。此处可以使用传统算法来计算独立强度信号。当像素传感器包括多个比较器时，每个比较器可以生成事件流，因此像素传感器可以重建多个独立强度信号。多个独立强度信号的融合结果可以获得像素传感器的最终强度信号。由于当每个像素传感器生成事件流时可以考虑不同的阈值，因此可以确保重建的强度信号的更多时间样本，同时也可以保持低噪声水平。
[0015]在第一方面的一种实现方式中，所述事件传感设备还用于：从所述一个或多个像素传感器的多个最终强度信号重建所述强度图像。
[0016]如上所述，可以为事件传感设备中的每个像素传感器生成相应的最终强度信号。因此，可以从多个最终强度信号重建强度图像，所述多个最终强度信号是为包括在事件传感设备中的多个像素传感器生成的。
[0017]在第一方面的一种实现方式中，所述事件传感设备还包括多个像素传感器，其中，所述多个像素传感器被分组为多个超级像素，其中，每个超级像素包括至少两个像素传感器，并且所述至少两个像素传感器中的每个像素传感器设置有相应的预定阈值，其中，所述预定阈值彼此不同。
[0018]根据本实施例，可以设计包括多个像素传感器的超级像素。具体地，同一超级像素中的像素传感器可以设置有不同的阈值。需要说明的是，本实施例可以使用现有的事件传感器实现(不需要改变硬件)。它可以视为为一个“像素”(特别是超级像素)生成具有多个阈值的事件流的软件实现。
[0019]在第一方面的一种实现方式中，所述事件传感设备还用于：从所述像素传感器生成的所述事件流重建每个像素传感器的独立强度信号；通过融合所述超级像素中的所述至少两个像素传感器的重建的独立强度信号，为每个超级像素生成最终强度信号。
[0020]与传统方案类似，可以为每个像素传感器重建独立强度信号(基于用单个阈值生成的事件流)。需要说明的是，对于包括多个像素传感器的超级像素，多个重建的独立强度
信号可以用于生成最终强度信号。如上所述，同一超级像素中的像素传感器可以设置有不同的阈值。因此，在本实施例中，当事件传感设备生成最终强度信号时，也可以考虑不同的阈值。这样一来，可以获得重建的强度信号的更多时间样本，同时也可以保持低噪声水平。
[0021]在第一方面的一种实现方式中，所述事件传感设备还用于：从所述多个超级像素的多个最终强度信号重建所述强度图像。
[0022]因此，可以从多个最终强度信号重建强度图像，所述多个最终强度信号是为包括在事件传感设备中的多个超级像素生成的。
[0023]在第一方面的一种实现方式中，所述至少两个像素传感器相邻。
[0024]可以发现，属于同一个超级像素的像素传感器实际上并不是从场景的完全相同的点收集光。因此，优选具有包括彼此靠近的像素传感器的超级像素。
[0025]在第一方面的一种实现方式中，本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种事件传感设备(10)，其特征在于，所述事件传感设备(10)包括一个或多个像素传感器(100、100')，其中，一个或多个阈值与所述一个或多个像素传感器(100、100')中的每个像素传感器相关联，并且每个像素传感器(100、100')用于：检测所述像素传感器(100、100')处入射光的强度的时间依赖性变化；如果所述强度的时间依赖性变化超过与所述像素传感器(100、100')相关联的所述一个或多个阈值中的任何一个阈值，则生成事件，其中，每个事件与时间戳和阈值相关联；生成一个或多个事件流，每个事件流包括与相同阈值相关联的多个所述事件；其中，所述事件传感设备(10)还用于：从所述一个或多个像素传感器(100、100')基于多个阈值生成的多个事件流重建多个独立强度信号(11、11')。2.根据权利要求1所述的事件传感设备(10)，其特征在于，所述强度的时间依赖性变化包括所述强度从一个时间点到连续时间点的变化。3.根据权利要求1或2所述的事件传感设备(10)，其特征在于，每个像素传感器(100、100')包括一对或多对差分器(102、102')和比较器(103、103')，每个差分器(102、102')用于计算所述入射光的所述强度的所述时间依赖性变化，每个比较器(103、103')用于：如果所述强度的时间依赖性变化超过预定阈值1031、1031'，则生成事件，并用于生成事件流。4.根据权利要求3所述的事件传感设备(10)，其特征在于，每个像素传感器(100)包括至少两对差分器(102、104、106)和比较器(103、105、107)，每个比较器(103、105、107)设置有相应的预定阈值(1031、1051、1071)，并用于基于所述相应的预定阈值(1031、1051、1071)生成事件流，其中，所述预定阈值(1031、1051、1071)彼此不同。5.根据权利要求4所述的事件传感设备(10)，其特征在于，用于：从所述比较器(103、105、107)生成的每个事件流重建每个比较器(103、105、107)的独立强度信号(108、109、1010)；通过融合所述像素传感器(100)的至少两个比较器(103、105、107)的重建的独立强度信号(108、109、1010)，为每个像素传感器(100)生成最终强度信号(11)。6.根据权利要求5所述的事件传感设备(10)，其特征在于，用于：从所述一个或多个像素传感器(100、100')的多个最终强度信号(11、11')重建强度图像。7.根据权利要求3至6中任一项所述的事件传感设备(10)，其特征在于，还包括多个像素传感器(100、100')，其中，所述多个像素传感器(100、100')被分组为多个超级像素(110)，其中，每个超级像素(110)包括至少两个像素传感器(100、100')，并且所述至少两个像素传感器(100、100')中的每个像素传感器设置有相应的预定阈值，其中，所述预定阈值彼此不同。8.根据权利要求7所述的事件传感设备(10)，其...

【专利技术属性】
技术研发人员：拉杜，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：