处理来自基于事件的传感器的信息的方法技术

基于事件的传感器具有朝向场景的像素的阵列。待处理的信息包含源自所述像素的取决于来自所述场景的入射光的变化的事件。所述方法包括：存储(S1)所述阵列的像素的集合的数据结构，所述数据结构包含针对所述集合的每一像素的与源自所述像素的最新事件相关联的事件数据；以及在从所述阵列的第一像素接收当前事件(E)后，针对包含所述阵列中的第一像素和邻近于所述第一像素的多个第二像素的像素群组检索(S2)所述数据结构中包含的任何事件数据；以及基于所述当前事件(E)和源自所述群组的像素的最新事件之间的至少一个连接性准则来标记(S3)所述当前事件。(S3)所述当前事件。(S3)所述当前事件。

【技术实现步骤摘要】
【国外来华专利技术】event
‑
based vision sensors:bioinspired cameras with spiking output)”(IEEE会刊，102(10)，1470
‑
1484)中论述此基于事件的机器视觉技术的更多细节。
[0009]实际上，由基于事件的传感器输出的数据使计算机视觉算法能够在高动态范围(HDR)条件中工作且对照明条件更稳健。
[0010]然而，现有的CCL算法不适合应用于基于事件的传感器的输出数据。
[0011]为了针对基于事件的数据提取将在计算机视觉算法中使用的特征，到目前为止开发了很少的解决方案。
[0012]需要一种新的方法来处理基于事件的数据以将不同事件集群且执行分类以供在计算机视觉算法中使用。

技术实现思路

[0013]提出一种处理来自基于事件的传感器的基于事件的数据的方法。基于事件的具有朝向场景的像素的阵列，且待处理的信息包含源自像素的取决于来自场景的入射光的变化的事件。所述方法包括：
[0014]存储阵列的像素的集合的数据结构，所述数据结构包含针对所述集合的每一像素的与源自所述像素的至少一个最新事件相关联的事件数据；以及
[0015]在从阵列的第一像素接收当前事件后：
[0016]针对包含所述阵列中的第一像素和邻近于所述第一像素的多个第二像素的像素群组检索所述数据结构中包含的任何事件数据；以及
[0017]基于当前事件和源自所述群组的像素的最新事件之间的至少一个连接性准则来标记所述当前事件。
[0018]如果当前事件不满足所述至少一个连接性准则，其中任何事件为源自群组的像素的最新事件，则标记当前事件可包括：
[0019]将新丛集ID分配给当前事件；以及
[0020]在第一像素的数据结构所包含的事件数据中包含所分配的新丛集ID。
[0021]如果当前事件满足所述至少一个连接性准则，其中仅一个事件为源自群组的像素的最新事件，则标记当前事件可包括：
[0022]向当前事件分配先前分配给所述一个事件的丛集ID；以及在第一像素的数据结构所包含的事件数据中包含所分配的丛集ID。
[0023]如果当前事件满足所述至少一个连接性准则，其中多个事件为源自群组的相应像素的最新事件且同时相同的丛集ID分配给所述多个事件，则标记当前事件可包括：
[0024]将相同的丛集ID分配给当前事件；以及
[0025]在第一像素的数据结构所包含的事件中包含所分配的相同的丛集ID。
[0026]如果当前事件满足所述至少一个连接性准则，其中多个事件为源自群组的相应像素的最新事件且同时不同的丛集ID分配给所述多个事件，则标记当前事件可包括：
[0027]将不同的丛集ID合并为经合并丛集ID；将经合并丛集ID分配给当前事件；以及
[0028]在第一像素的数据结构所包含的事件数据中包含所分配的经合并丛集ID。
[0029]在一实施例中，所述多个第二像素包含在像素阵列中直接环绕第一像素的4或8个像素。举例来说，在4个像素的情况下，那4个像素可以是紧密地位于第一像素的左侧、右侧、
上方及下方的第二像素。此外，所述多个第二像素还可包含具有较大半径的相邻者处的像素，例如，8个直接相邻像素和紧挨着所述8个直接相邻像素的另外16个像素，等等。
[0030]存在关于与最近源自像素集合的事件相关联的事件数据的内容的不同可能性，其可全部或部分组合到一起，例如下文所列的可能性。
[0031]一个可能性在于，像素的数据结构中包含的事件数据包含源自所述像素的最新事件的时戳。在此实施例中，当前事件和源自所述群组的像素的最新事件之间的所述至少一个连接性准则可包含应用于当前事件和源自群组的所述像素的最新事件之间的时戳差的准则。
[0032]另一可能性在于，像素的数据结构中包含的事件数据包含源自所述像素的最新事件的极性。在此实施例中，当前事件和源自所述群组的像素的最新事件之间的所述至少一个连接性准则可包含应用于当前事件和源自群组的所述像素的最新事件的相应极性的准则。
[0033]另一可能性在于，像素的数据结构中包含的事件数据包含针对源自所述像素的最新事件估计的闪烁频率。在此实施例中，当前事件和源自所述群组的像素的最新事件之间的所述至少一个连接性准则可包含应用于针对当前事件和针对源自群组的所述像素的最新事件估计的相应闪烁频率的准则。
[0034]另一可能性在于，像素的数据结构中包含的事件数据包含针对源自所述像素的最新事件估计的视觉流数据。在此实施例中，当前事件和源自所述群组的像素的最新事件之间的所述至少一个连接性准则可包含应用于针对当前事件和针对源自群组的所述像素的最新事件估计的相应视觉流数据的准则。
[0035]又一可能性在于，像素的数据结构中包含的事件数据包含针对源自所述像素的最新事件估计的深度或立体视差值。在此实施例中，当前事件和源自所述群组的像素的最新事件之间的所述至少一个连接性准则可包含应用于针对当前事件和针对源自群组的所述像素的最新事件估计的相应深度或立体视差值的准则。
[0036]又一可能性在于，像素的数据结构中包含的事件数据包含源自所述像素的最新事件的亮度值。在此实施例中，当前事件和源自所述群组的像素的最新事件之间的至少一个连接性准则包含应用于当前事件和源自群组的所述像素的最新事件之间的亮度差的准则。
[0037]又一可能性在于，像素的数据结构中包含的事件数据包含语义ID，其指示源自所述像素的最新事件的场景中的对象的类型。通过其它算法基于事件所属的对象的类型生成语义ID，所述类型例如汽车、行人、道路、树木、建筑物、标记、交通标志等。在此实施例中，当前事件和源自所述群组的像素的最新事件之间的至少一个连接性准则包含应用于当前事件(E)和源自群组的所述像素的最新事件的相应语义ID的准则。
[0038]在一实施例中，所述方法进一步包括将以相同的丛集ID标记的事件分组以形成丛集，以及从所述丛集提取特征。所提取的特征可包括例如边缘、关注点、关注点的区域或脊线。可基于所提取的特征借助于估计器来跟踪丛集，所述估计器估计丛集的中心的位置和丛集的速度。
[0039]本专利技术的另一方面涉及一种计算机程序，其包括待由与基于事件的传感器耦合的处理器执行的程序代码。所述程序代码在由处理器执行时适于执行如上文定义的方法。
附图说明
[0040]参考附图，将在下文的描述内容中显而易见本专利技术的其它特征和优点，附图中：
[0041]图1是适于本专利技术的实施方案的装置的框图；
[0042]图2是根据本专利技术的说明性方法的流程图；
[0043]图3a和3b展示含有第一像素和环绕第一像素的四个或八个第二像素的像素群组的示意图；以及
[0044]图4是标记当前事件的步骤的说明性实施例的流程图；
具体实施方式
[0045]图1中展示的设备包括基于事件的异步视觉传感器10，其朝向场景放置且经由包括一个或若本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.处理来自基于事件的传感器的信息的方法，所述基于事件的传感器(10)具有朝向场景的像素阵列，且所述信息包含源自所述像素的取决于来自所述场景的入射光的变化的事件，所述方法包括：存储(S1)所述阵列的像素的集合的数据结构，所述数据结构包含针对所述集合的每一像素的与源自所述像素的至少一个最新事件相关联的事件数据；以及在接收(S2)来自所述阵列的第一像素(A)的当前事件(E)后；针对包含所述阵列中的第一像素和邻近于所述第一像素的多个第二像素的像素群组检索(S3)所述数据结构中包含的任何事件数据；以及基于所述当前事件(E)和源自所述群组的像素的至少一个最新事件之间的至少一个连接性准则来标记(S4)所述当前事件。2.根据权利要求1所述的方法，其特征在于，标记所述当前事件包括，如果所述当前事件不满足所述至少一个连接性准则，其中任何事件为源自所述群组的像素的最新事件，则：将新丛集ID分配给所述当前事件；以及在所述第一像素(A)的数据结构所包含的事件数据中包含所分配的新丛集ID。3.根据前述权利要求中任一项所述的方法，其特征在于，标记所述当前事件包括，如果所述当前事件满足所述至少一个连接性准则，其中仅一个事件为源自所述群组的像素的最新事件，则：向所述当前事件分配先前分配给所述一个事件的丛集ID；以及在所述第一像素(A)的数据结构所包含的事件数据中包含所分配的丛集ID。4.根据前述权利要求中任一项所述的方法，其特征在于，标记所述当前事件包括，如果所述当前事件满足所述至少一个连接性准则，其中多个事件为源自所述群组的相应像素的最新事件，且同时相同的丛集ID分配给所述多个事件，则：将相同的丛集ID分配给所述当前事件；以及在所述第一像素(A)的数据结构所包含的包含所分配的相同的丛集ID。5.根据前述权利要求中任一项所述的方法，其特征在于，标记所述当前事件包括，如果所述当前事件满足所述至少一个连接性准则，其中多个事件为源自所述群组的相应像素的最新事件，且同时不同的丛集ID分配给所述多个事件，则：将不同的丛集ID合并为经合并丛集ID；将所述经合并丛集ID分配给所述当前事件；以及在所述第一像素(A)的数据结构所包含的事件中包含所分配的经合并丛集ID。6.根据前述权利要求中任一项所述的方法，其特征在于，所述多个第二像素包含像素阵列中直接环绕所述第一像素(A)的4或8个像素。7.根据前述权利要求中任一项所述的方法，其特征在于，像素的数据结构中包含的事件数据包含源自所述像素的最新事件的时戳，且其中，所述当前事件(E)和源自所述群组的像素的最新事件之间的至少一个连接性准则包含应用于所述当前事件(E)和源自所述群组的像素的最新事件之间的时戳差的准则。8.根据前述权利要求中任一项所述的方法，其特征在于...

【专利技术属性】
技术研发人员：克斯阿维埃，
申请(专利权)人：普罗费塞公司，
类型：发明
国别省市：