基于仿生图像传感器的数据处理方法、装置、设备和介质制造方法及图纸

本申请提供的一种基于仿生图像传感器的数据处理方法、装置、设备和介质，通过读取仿生图像传感器所采集的由像素位置、极性、及时间戳表达的事件流；将预设的第一三维数组和第二三维数组设定初始值；依据事件的像素位置和极性分别确定目标地址；根据目标地址将第一三维数组对应的数据值更新为初始值，邻域数据值减去预设值，其他不变；和/或，根据目标地址，将第二三维数组对应的数据值更新为当前事件对应的时间戳；当满足预设条件时，以最新更新的第一或结合第二三维数组作为事件帧输出，并返回继续读取事件流。本申请与现有技术相比，能更好地编码仿生图像传感器输出事件流固有的时空特征，对于不同运动快慢的物体都能很明显地编码出物体的轮廓。编码出物体的轮廓。编码出物体的轮廓。

Data processing method, device, equipment and medium based on bionic image sensor

【技术实现步骤摘要】
基于仿生图像传感器的数据处理方法、装置、设备和介质


[0001]本专利技术涉及数字图像处理
，特别是涉及一种基于仿生图像传感器的数据处理方法、装置、设备和介质。

技术介绍

[0002]在计算机视觉中，数据采集工作主要依赖于图像传感器。常规的CMOS图像传感器以一系列连续的图像帧来捕捉场景。这些图像帧中通常包含大量重复背景等冗余数据。冗余数据的读取、传输和计算处理，增加了不必要的传输存储和计算开销。此外，由于曝光机制的限制，连续两帧之间存在信息欠采样问题，导致运动模糊和运动轨迹的丢失。因此，常规图像传感器通常存在带宽瓶颈、功耗浪费、信息丢失、运算能力不足以及系统复杂度高等问题。
[0003]受生物视觉原理的启发，研究人员从像素层级和电路结构模仿生物视网膜，设计了一种基于事件的仿生图像传感器。与传统相机以固定的帧率连续测量所有像素的绝对亮度不同，仿生图像传感器以不同步的速率捕获每个像素亮度变化，且只有在捕捉到场景的瞬时变化时才会产生事件输出。因此，仿生图像传感器能异步输出敏感的运动信息，具有高时间分辨率、高动态范围、低延迟、低带宽要求等特点。
[0004]但是仿生图像传感器输出的异步事件流表征形式和常规图像帧的数据结构存在很大差异，现有成熟的图像处理技术(如卷积神经网络)难以直接应用于事件流数据。
[0005]因此，基于事件数据的处理技术还需要开发新的算法。

技术实现思路

[0006]鉴于以上所述现有技术的缺点，本申请的目的在于提供一种基于仿生图像传感器的数据处理方法、装置、设备和介质，以解决现有技术中异步事件流与常规图像帧的数据结构存在很大差异，难以直接应用的问题。
[0007]为实现上述目的及其他相关目的，本申请提供一种基于仿生图像传感器的数据处理方法，所述方法包括：读取仿生图像传感器所采集的由像素位置、极性、及时间戳表达的事件流；分别将预设的第一三维数组和第二三维数组的数组中各地址对应的数据值设定一初始值；依据每个到达的事件的像素位置和极性分别确定第一三维数组和第二三维数组中的目标地址；根据第一三维数组中确定的目标地址，将其对应的数据值更新为初始值N，并将其周围预设邻域窗口范围内各邻域地址对应的数据值减去预设值k，以及将预设邻域窗口范围外的非邻域地址的数据值维持不变；和/或，根据第二三维数组中确定的目标地址，将其对应的数据值更新为当前事件对应的时间戳；当满足预设条件时，以最新更新的第一三维数组作或者以最新更新的第一三维数组结合第二三维数组作为编码后的事件帧输出，并返回第一步骤继续读取事件流。
[0008]于本申请的一实施例中，所述根据第二三维数组中确定的目标地址，将其对应的数据值更新为当前事件对应的时间戳，包括：将当前事件的时间戳与第二三维数组中目标
地址最新更新的数据值进行比较，判断若两者之间的差值是否大于预设时间值；若是，则分别对第一三维数组与第二三维数组中的目标地址进行更新；若否，则均不进行更新。
[0009]于本申请的一实施例中，所述预设邻域窗口范围为(2R+1)
×
(2R+1)；其中，R表示所关注邻域范围的半径。
[0010]于本申请的一实施例中，所述第一三维数组各地址的数据值范围为[N
‑
k(2R+1)2，N]。
[0011]于本申请的一实施例中，所述以最新更新的第一三维数组结合第二三维数组作为编码后的事件帧输出，包括：将最新更新的第一三维数组乘以归一化后的最新更新的第二三维数组，作为编码后的事件帧输出；其中，编码方法可采用基于频率的编码方法或基于时间的编码方法。
[0012]于本申请的一实施例中，所述预设条件包括：时间戳跨度满足一预设时间窗口的时长时，或者，事件发生总数满足预设值时。
[0013]为实现上述目的及其他相关目的，本申请提供一种基于仿生图像传感器的数据处理装置，所述装置包括：读取模块，用于读取仿生图像传感器所获取的由像素位置、极性、及时间戳表达的事件流；初始化模块，用于分别将预设的第一三维数组和第二三维数组的数组中各地址对应的数据值设定一初始值；处理模块，用于依据每个到达的事件的像素位置和极性分别确定第一三维数组和第二三维数组中的目标地址；根据第一三维数组中确定的目标地址，将其对应的数据值更新为初始值，并将其周围预设邻域窗口范围内各邻域地址对应的数据值减去预设值，以及将预设邻域窗口范围外的非邻域地址的数据值维持不变；和/或，根据第二三维数组中确定的目标地址，将其对应的数据值更新为当前事件对应的时间戳；当满足预设条件时，以最新更新的第一三维数组作或者以最新更新的第一三维数组结合第二三维数组作为编码后的事件帧输出，并返回第一步骤继续读取事件流。
[0014]为实现上述目的及其他相关目的，本申请提供一种计算机设备，所述设备包括：存储器、处理器、及通信器；所述存储器用于存储计算机指令；所述处理器运行计算机指令实现如上所述的方法；所述通信器通信连接仿生图像传感器，以获取其采集的由像素位置、极性、及时间戳表达的事件流。
[0015]为实现上述目的及其他相关目的，本申请提供一种计算机可读存储介质，存储有计算机指令，所述计算机指令被运行时执行如上所述的方法。
[0016]综上所述，本申请的一种基于仿生图像传感器的数据处理方法、装置、设备和介质，通过读取仿生图像传感器所采集的由像素位置、极性、及时间戳表达的事件流；分别将预设的第一三维数组和第二三维数组的数组中各地址对应的数据值设定一初始值；依据每个到达的事件的像素位置和极性分别确定第一三维数组和第二三维数组中的目标地址；根据第一三维数组中确定的目标地址，将其对应的数据值更新为初始值，并将其周围预设邻域窗口范围内各邻域地址对应的数据值减去预设值，以及将预设邻域窗口范围外的非邻域地址的数据值维持不变；和/或，根据第二三维数组中确定的目标地址，将其对应的数据值更新为当前事件对应的时间戳；当满足预设条件时，以最新更新的第一三维数组作或者以最新更新的第一三维数组结合第二三维数组作为编码后的事件帧输出，并返回第一步骤继续读取事件流。
[0017]具有以下有益效果：
[0018]本申请与现有技术相比，能更好地编码仿生图像传感器输出事件流固有的时空特征。对于不同运动快慢的物体都能很明显地编码出物体的轮廓。
附图说明
[0019]图1显示为本申请于一实施例中基于仿生图像传感器的数据处理方法的流程示意图。
[0020]图2显示为本申请于一实施例中三维数组及简化过程的模型示意图。
[0021]图3显示为本申请于一实施例中基于仿生图像传感器的数据处理方法的处理流程示意图。
[0022]图4显示为本申请于一实施例中基于仿生图像传感器的数据处理装置的模块示意图。
[0023]图5显示为本申请于一实施例中计算机设备的结构示意图。
具体实施方式
[0024]以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于仿生图像传感器的数据处理方法，其特征在于，所述方法包括：读取仿生图像传感器所采集的由像素位置、极性、及时间戳表达的事件流；分别将预设的第一三维数组和第二三维数组的数组中各地址对应的数据值设定一初始值N；依据每个到达的事件的像素位置和极性分别确定第一三维数组和第二三维数组中的目标地址；根据第一三维数组中确定的目标地址，将其对应的数据值更新为初始值，并将其周围预设邻域窗口范围内各邻域地址对应的数据值减去预设值k，以及将预设邻域窗口范围外的非邻域地址的数据值维持不变；和/或，根据第二三维数组中确定的目标地址，将其对应的数据值更新为当前事件对应的时间戳；当满足预设条件时，以最新更新的第一三维数组作或者以最新更新的第一三维数组结合第二三维数组作为编码后的事件帧输出，并返回第一步骤继续读取事件流。2.根据权利要求1所述的方法，其特征在于，所述根据第二三维数组中确定的目标地址，将其对应的数据值更新为当前事件对应的时间戳，包括：将当前事件的时间戳与第二三维数组中目标地址最新更新的数据值进行比较，判断若两者之间的差值是否大于预设时间值；若是，则分别对第一三维数组与第二三维数组中的目标地址进行更新；若否，则均不进行更新。3.根据权利要求1所述的方法，其特征在于，所述预设邻域窗口范围为(2R+1)
×
(2R+1)；其中，R表示所关注邻域范围的半径。4.根据权利要求3所述的方法，其特征在于，所述第一三维数组各地址的数据值范围为[N
‑
k(2R+1)2，N]。5.根据权利要求1所述的方法，其特征在于，所述以最新更新的第一三维数组结合第二三维数组作为编码后的事件帧输出，包括...

【专利技术属性】
技术研发人员：汪辉，万吉祥，黄尊恺，祝永新，田犁，李全泽，冯英奇，
申请(专利权)人：中国科学院上海高等研究院，
类型：发明
国别省市：