一种动态视觉传感器事件转帧的低成本实现方法及装置制造方法及图纸

本发明专利技术涉及一种动态视觉传感器事件转帧的低成本实现方法及装置，方法包括：基于DVS图像大小和降采样因子确定采样区域的数量，将采样区域与计数器一一对应；每当有新的DVS事件到来，计算该DVS事件所对应的采样区域，更新该DVS事件的采样区域所对应的计数器；当表示新的一帧开始的framesync信号有效时，从存储空间的首地址开始，依次对各个地址进行读取清零操作，得到事件帧。与现有技术相比，本发明专利技术将降采样和像素计数同时进行，减少了计数器的数量，从而减少了存储空间的大小，降低了成本；摒弃乒乓缓存的方式，存储空间中只存储一帧事件帧的计数器，进一步减少了存储空间的大小，降低了成本。低了成本。低了成本。

【技术实现步骤摘要】
一种动态视觉传感器事件转帧的低成本实现方法及装置


[0001]本专利技术涉及图像处理
，尤其是涉及一种动态视觉传感器事件转帧的低成本实现方法及装置。

技术介绍

[0002]传统的视觉图像采集方式以固定频率采集的“帧”为基础，基于这些连续的图像帧进行图像处理和特征提取等操作时，图像采集传感器需要以较高的帧率运行，而且输出的图像流中包含大量与目标无关的冗余数据，具有高冗余、高延迟、高噪声、低动态范围和高数据量等缺陷。
[0003]现有技术中，基于地址、事件表达的视觉图像传感器(DVS)模仿生物视觉的工作机理，像素异步工作，对于单个像素点，只有当其接受光强度发生改变时，才会有事件(脉冲)信号输出，比如说亮度变化超过一个阈值，那么将增加一个该像素点亮度变化的事件，输出事件的地址(对应像素位置)和事件的性质(变亮变暗等)。在动态视觉传感器中当仅输出光强发生变化像素的地址及其变化的符号，而不是被动依次读出“帧”内每个像素信息，从源头上消除冗余数据，具有场景变化实时动态响应、图像超稀疏表示、事件异步输出等特点。在像素光强很少变化时，DVS输出的事件数很少，从而减少冗余数据，降低系统功耗。每个像素独立工作，当像素光强变化很快时，DVS会在微秒量级的延迟内输出相应的事件，结合脉冲神经网络(SNN)的脉冲输入特性，可以在较短的延迟内实现图像的分类，可以应用于高速目标跟踪等场景。
[0004]深度神经网络(DNN)研究近年来取得了飞速发展并得到初步应用，实现这样的深度学习算法，通常需要消耗大量的算力。基于深度神经网络的图像处理方法中，对DVS数据进行训练与基于活跃像素传感器(APS)的普通图像数据进行训练类似，目前主流的算法还是以帧为单位。这就需要将DVS事件(携带像素地址信息和脉冲的正负号)转成帧，当然帧率可以比APS帧率高很多，例如1000帧/秒。
[0005]中国专利CN113012200A中公开了一种运动物体的定位方法、装置、电子设备及存储介质，获取事件流信息，并根据预设采样周期，对所述事件流信息进行采样，以获取采样事件帧，基于采样事件帧进行后续处理。现有技术中，DVS事件转帧一般的实现方法如下：设定时间间隔，时间间隔内DVS至少要输出一次事件，在时间间隔内，一个像素点每增加一个事件，则该像素点增加一个计数，时间间隔结束后统计每个像素点的计数，输出所有的像素点对应的计数，从而得到事件帧。具体的：当表示新的一帧开始的framesync信号有效时，输出统计的每个像素的计数值作为事件帧，同时将这些像素的计数值清零，开始下一帧中的像素计数。
[0006]假定DVS像素数为1024*768，对每个像素进行计数实现事件到帧的转换时，假定每个像素的计数器位宽为8比特，那么做DVS事件到帧的转换，所需的存储空间为1024*768*8比特＝1024*768Byte＝768K Byte。在framesync有效后，开始存储空间的读取和清零，这将持续较长的时间，如果存储空间是有1个读端口和1个写端口的深度为192K，宽度是32比特
的SRAM，(宽度指的是能存多长的数据，深度指的是能存多少个这么长的数据)，这个读出过程会持续192K时钟周期。在这段时间内，很有可能又有新的DVS事件到来，为了让后一帧与正在读出的一帧互不干扰，存储空间一般是分为两部分(乒乓缓存)：前一帧在第一部分缓存中，在第一部分缓存读出的过程中到来的事件进入后一帧的统计，后一帧的计数器在第二部分缓存中。下一个framesync有效时，第二部分的缓存读出，新事件计数进入第一部分缓存。因此，乒乓缓存条件下，要求的存储空间为768K*2＝1536K Byte。
[0007]由于DVS的像素数(例如1024*768)较大，往往超过神经网络支持的最大像素数(例如224*224)，同时神经网络不需要较高的分辨率就能进行分类，这就需要对转换后的帧实现降采样(或者称为池化)。典型的DVS数据事件转帧的实现如图2所示，通过对DVS中的每个像素进行计数实现了事件到帧的转换，然后对一个帧中的数据进行降采样(如4:1降采样等)，就可以得到适用于神经网络的事件帧。在降采样时，降采样后的数据位宽可能超过了预设的位宽，可以做截断处理(在精度降低很少的情况下)。现有技术中，如果考虑到降采样过程，在存储空间中需要一块空间用来存放对像素进行计数得到的帧，还需要一块空间存放对帧中的数据进行降采样得到的事件帧，要求的存储空间会进一步增大。存储空间大导致硬件成本较高，也影响了读写速度，增加了时间成本，因此需要一种低成本的动态视觉传感器事件转帧实现方法。

技术实现思路

[0008]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种动态视觉传感器事件转帧的低成本实现方法及装置。
[0009]本专利技术的目的可以通过以下技术方案来实现：
[0010]一种动态视觉传感器事件转帧的低成本实现方法，包括以下步骤：
[0011]S1、获取DVS图像大小和降采样因子，基于DVS图像大小和降采样因子确定采样区域的数量，将采样区域与存储空间中的计数器一一对应，记录每个采样区域所对应的计数器在存储空间中的地址；
[0012]S2、每当有新的DVS事件到来，获取该DVS事件的像素位置，计算该DVS事件所对应的采样区域，更新该DVS事件的采样区域所对应的计数器；
[0013]S3、当表示新的一帧开始的framesync信号有效时，从存储空间的首地址开始，依次对各个地址进行读取清零操作，得到事件帧，所述读取清零操作具体为：读出当前地址中计数器的读数，将当前地址中的计数器清零。
[0014]进一步的，步骤S3中，将存储空间中的计数器的读数读取至外部存储器得到事件帧，在进行读取清零操作时，先将当前地址中计数器的读数读取至片上缓存，同时将当前地址中的计数器清零，再从片上缓存中将计数器的读数写入外部存储器。
[0015]进一步的，在对地址i中的计数器进行读取清零操作的过程中，如果有新的DVS事件到来，则计算所述新的DVS事件所对应的计数器在存储空间中的地址j：
[0016]如果j>i，则继续对地址i中的计数器进行读取清零操作，完成对地址i中的计数器的读取清零操作后，更新所述新的DVS事件所对应的计数器，继续进行下一地址的读取清零操作；在读取地址j中的计数器时，这一个新的DVS事件将被读出，在当前读取的事件帧中体现；
[0017]如果j<i，则继续对地址i中的计数器进行读取清零操作，完成对地址i中的计数器的读取清零操作后，更新所述新的DVS事件所对应的计数器，继续进行下一地址的读取清零操作；这一个新的DVS事件将在下一次读取的事件帧中体现；
[0018]如果j＝i，且计数器的读数尚未写入片上缓存，则读出地址i中计数器的读数，基于新的DVS事件更新读出的计数器读数，将更新后的计数器读数写入片上缓存，将地址i中的计数器清零，继续进行下一地址的读取清零操作；这一个新的DVS事件将体现在当前读取的事件帧中；
[0019]如本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动态视觉传感器事件转帧的低成本实现方法，其特征在于，包括以下步骤：S1、获取DVS图像大小和降采样因子，基于DVS图像大小和降采样因子确定采样区域的数量，将采样区域与存储空间中的计数器一一对应；S2、每当有新的DVS事件到来，获取该DVS事件的像素位置，计算该DVS事件所对应的采样区域，更新该DVS事件的采样区域所对应的计数器；S3、当表示新的一帧开始的framesync信号有效时，从存储空间的首地址开始，依次对各个地址进行读取清零操作，得到事件帧，所述读取清零操作具体为：读出当前地址中计数器的读数，将当前地址中的计数器清零。2.根据权利要求1所述的一种动态视觉传感器事件转帧的低成本实现方法，其特征在于，步骤S3中，将存储空间中的计数器的读数读取至外部存储器得到事件帧，在进行读取清零操作时，先将当前地址中计数器的读数读取至片上缓存，同时将当前地址中的计数器清零，再从片上缓存中将计数器的读数写入外部存储器。3.根据权利要求2所述的一种动态视觉传感器事件转帧的低成本实现方法，其特征在于，在对地址i中的计数器进行读取清零操作的过程中，如果有新的DVS事件到来，则计算所述新的DVS事件所对应的计数器在存储空间中的地址j：如果j>i，则继续对地址i中的计数器进行读取清零操作，完成对地址i中的计数器的读取清零操作后，更新所述新的DVS事件所对应的计数器，继续进行下一地址的读取清零操作；如果j<i，则继续对地址i中的计数器进行读取清零操作，完成对地址i中的计数器的读取清零操作后，更新所述新的DVS事件所对应的计数器，继续进行下一地址的读取清零操作；如果j＝i，且计数器的读数尚未写入片上缓存，则读出地址i中计数器的读数，基于新的DVS事件更新读出的计数器读数，将更新后的计数器读数写入片上缓存，将地址i中的计数器清零，继续进行下一地址的读取清零操作；如果j＝i，且计数器中的读数已经写入片上缓存，则基于新的DVS事件直接写入计数器的读数，继续进行下一地址的读取清零操作。4.根据权利要求3所述的一种动态视觉传感器事件转帧的低成本实现方法，其特征在于，基于新的DVS事件更新读出的计数器读数具体为：如果计数器尚未计数至该计数器的最大值，则将计数器读数加1，否则，计数器读数保持不变；基于新的DVS事件直接写入计数器的读数具体为：对计数器进行写1操作。5.根据权利要...

【专利技术属性】
技术研发人员：陈克林，朱文俊，陈旭，吕正祥，袁抗，杨力邝，
申请(专利权)人：上海新氦类脑智能科技有限公司，
类型：发明
国别省市：