事件相机的成像方法、系统、装置、事件相机和存储介质制造方法及图纸

本申请涉及一种事件相机的成像方法、系统、装置、事件相机和存储介质。所述方法包括：在确定事件相机的感知范围内存在相对静止的对象的情况下，改变预设的变色玻璃的透光率；变色玻璃设于事件相机的相机传感器之前；获取相机传感器在多种不同透光率下捕获的事件流数据；基于事件流数据，得到相机传感器在各种透光率下的事件帧；融合多种不同透光率下的多个事件帧，生成事件相机的环境感知图像，环境感知图像中包含相对静止的对象的图像。采用本方法能够通过改变变色玻璃的透光率，可以形成包含相对静止的对象的图像，从而提高事件相机生成图像的完整度。生成图像的完整度。生成图像的完整度。

【技术实现步骤摘要】
事件相机的成像方法、系统、装置、事件相机和存储介质


[0001]本申请涉及计算机视觉
，特别是涉及一种事件相机的成像方法、系统、装置、事件相机、存储介质和计算机程序产品。

技术介绍

[0002]随着计算机视觉技术的发展，出现了一种将事件相机作为智能传感器的技术，并且事件相机具有低功耗、高频率、高动态的特点，因此具有广泛的应用场景，其主要原理是通过捕捉目标对象位置的光强变化，转化为感知位置的电压变化，从而引发对应像素位置的脉冲事件信号。因此，在实际应用中，事件相机也主要以相对运动状态去捕捉目标对象，如果目标观察物与事件相机的摄像头之间存在相对运动，事件相机传感器会感知光线变化产生事件信号，从而生成对应图像。
[0003]然而，目前的事件相机成像方法，如果事件相机发生运动，且保持与目标对象的相对静止时，例如事件相机与目标对象以相同方向与相同速度进行运动时，由于目标对象在事件相机传感器上感知的位置和光强不发生变化，此时事件相机无法产生信号，也无法生成对应的图像，因此现有的事件相机成像方法中，生成的图像完整度较低。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够提高生成图像完整度的事件相机的成像方法、系统、装置、事件相机、计算机可读存储介质和计算机程序产品。
[0005]第一方面，本申请提供了一种事件相机的成像方法，所述方法包括：
[0006]在确定所述事件相机的感知范围内存在相对静止的对象的情况下，改变预设的变色玻璃的透光率；所述变色玻璃设于所述事件相机的相机传感器之前；
[0007]获取所述相机传感器在多种不同透光率下捕获的事件流数据；
[0008]基于所述事件流数据，得到所述相机传感器在各种透光率下的事件帧；
[0009]融合所述多种不同透光率下的多个事件帧，生成所述事件相机的环境感知图像，所述环境感知图像中包含所述相对静止的对象的图像。
[0010]在其中一个实施例中，所述改变预设的变色玻璃的透光率，包括：获取预先设定的多个不同频率的输入信号，将所述多个不同频率的输入信号输入至预设的变化控制单元；其中，所述变化控制单元与所述变色玻璃信号连接，所述多个不同频率的输入信号用于触发所述变化控制单元生成多个对应的控制信号，并利用所述控制信号改变所述变色玻璃的透光率。
[0011]在其中一个实施例中，所述方法还包括：在所述事件相机处于初始状态的情况下，将所述变色玻璃的透光率初始化为可调范围内的最大透光率。
[0012]在其中一个实施例中，所述融合所述多种不同透光率下的多个事件帧，生成所述事件相机的环境感知图像，包括：对各所述透光率对应的事件帧进行高斯滤波，得到去噪后的事件帧；将所述去噪后的事件帧进行加权平均处理，得到所述事件相机的环境感知图像。
[0013]在其中一个实施例中，所述对各所述透光率对应的事件帧进行高斯滤波，得到去噪后的事件帧，包括：获取当前事件帧，以及所述当前事件帧对应的透光率；所述当前事件帧为各所述透光率分别对应的事件帧中的任意一个；根据所述当前事件帧以及所述透光率，获取与所述当前事件帧对应的高斯滤波参数；基于所述高斯滤波参数对所述当前事件帧进行高斯滤波，得到所述当前事件帧对应的去噪后的事件帧。
[0014]在其中一个实施例中，所述在确定所述事件相机的感知范围内存在相对静止的对象的情况下，改变预设的变色玻璃的透光率之前，还包括：获取当前事件流；所述当前事件流为当前时间段所述相机传感器采集的事件流；获取与所述当前事件流对应的历史事件流；所述历史事件流为所述当前时间段的上一时间段所述相机传感器采集的事件流；比对所述当前事件流与所述历史事件流，根据比对结果确定所述相对静止的对象的感知结果。
[0015]在其中一个实施例中，所述当前事件流对应的成像区域中，包含多个第一成像区域块；所述历史事件流对应的成像区域中，包含多个与各所述第一成像区域块分别对应的第二成像区域块；所述比对所述当前事件流与所述历史事件流，根据比对结果确定所述相对静止的对象的感知结果，包括：获取当前第一成像区域块包含的第一事件，以及与当前第一成像区域块对应的当前第二成像区域块包含的第二事件；所述当前第一成像区域块为所述多个第一成像区域块中的任意一个；比对所述第一事件与所述第二事件，在所述第一事件与所述第二事件之间的事件差值数量大于预设差值阈值时，将所述当前第一成像区域块作为目标第一成像区域块；在所述当前事件流对应的成像区域中，存在至少一个目标第一成像区域块的情况下，确定所述当前事件流中存在相对静止的对象。
[0016]在其中一个实施例中，所述比对所述当前事件流与所述历史事件流，包括：获取所述事件相机对应的历史位置数据；根据所述历史位置数据对所述历史事件流进行校正处理，得到校正处理后的历史事件流；比对所述当前事件流与所述校正处理后的历史事件流。
[0017]第二方面，本申请还提供了一种事件相机的成像系统，包括：感知计算单元、相机传感器以及设于所述相机传感器之前的变色玻璃；其中：
[0018]所述感知计算单元，用于在确定所述事件相机的感知范围内存在相对静止的对象的情况下，改变所述变色玻璃的透光率；
[0019]所述相机传感器，用于捕获对应于所述变色玻璃的多种不同透光率下的事件流数据，并将所述多种不同透光率下的事件流数据发送至所述感知计算单元；
[0020]所述感知计算单元，还用于基于所述不同透光率下的事件流数据，得到所述相机传感器在各种透光率下的事件帧，并融合所述多种不同透光率下的多个事件帧，生成所述事件相机的环境感知图像，所述环境感知图像中包含所述相对静止的对象的图像。
[0021]在其中一个实施例中，所述系统还包括：与所述变色玻璃信号连接的变化控制单元；所述感知计算单元，还用于在确定所述事件相机的感知范围内存在相对静止的对象的情况下，获取预先设定的多个不同频率的输入信号，并将所述多个不同频率的输入信号输入至预设的变化控制单元；所述变化控制单元，用于生成与所述多个不同频率的输入信号分别对应的控制信号，并利用所述控制信号改变所述变色玻璃的透光率。
[0022]在其中一个实施例中，所述感知计算单元，包括：存储器和比较单元；所述存储器，用于存储当前事件流与历史事件流；所述当前事件流为当前时间段所述相机传感器采集的事件流；所述历史事件流为所述当前时间段的上一时间段所述相机传感器采集的事件流；
所述比较单元，用于比对所述当前事件流与所述历史事件流，根据比对结果确定所述相对静止的对象的感知结果。
[0023]在其中一个实施例中，所述感知计算单元，还包括：里程计；所述里程计，用于存储所述事件相机对应的历史位置数据；所述比较单元，还用于根据所述历史位置数据对所述历史事件流进行校正处理，得到校正处理后的历史事件流；比对所述当前事件流与所述校正处理后的历史事件流。
[0024]在其中一个实施例中，所述变化控制单元，包括：触发器以及数控单元；所述触发器，用于接收所述多个不同频率的输入信号，并本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种事件相机的成像方法，其特征在于，所述方法包括：在确定所述事件相机的感知范围内存在相对静止的对象的情况下，改变预设的变色玻璃的透光率；所述变色玻璃设于所述事件相机的相机传感器之前；获取所述相机传感器在多种不同透光率下捕获的事件流数据；基于所述事件流数据，得到所述相机传感器在各种透光率下的事件帧；融合所述多种不同透光率下的多个事件帧，生成所述事件相机的环境感知图像，所述环境感知图像中包含所述相对静止的对象的图像。2.根据权利要求1所述的方法，其特征在于，所述改变预设的变色玻璃的透光率，包括：获取预先设定的多个不同频率的输入信号，将所述多个不同频率的输入信号输入至预设的变化控制单元；其中，所述变化控制单元与所述变色玻璃信号连接，所述多个不同频率的输入信号用于触发所述变化控制单元生成多个对应的控制信号，并利用所述控制信号改变所述变色玻璃的透光率。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：在所述事件相机处于初始状态的情况下，将所述变色玻璃的透光率初始化为可调范围内的最大透光率。4.根据权利要求1所述的方法，其特征在于，所述融合所述多种不同透光率下的多个事件帧，生成所述事件相机的环境感知图像，包括：对各所述透光率对应的事件帧进行高斯滤波，得到去噪后的事件帧；将所述去噪后的事件帧进行加权平均处理，得到所述事件相机的环境感知图像。5.根据权利要求4所述的方法，其特征在于，所述对各所述透光率对应的事件帧进行高斯滤波，得到去噪后的事件帧，包括：获取当前事件帧，以及所述当前事件帧对应的透光率；所述当前事件帧为各所述透光率分别对应的事件帧中的任意一个；根据所述当前事件帧以及所述透光率，获取与所述当前事件帧对应的高斯滤波参数；基于所述高斯滤波参数对所述当前事件帧进行高斯滤波，得到所述当前事件帧对应的去噪后的事件帧。6.根据权利要求1所述的方法，其特征在于，所述在确定所述事件相机的感知范围内存在相对静止的对象的情况下，改变预设的变色玻璃的透光率，之前还包括：获取当前事件流；所述当前事件流为当前时间段所述相机传感器采集的事件流；获取与所述当前事件流对应的历史事件流；所述历史事件流为所述当前时间段的上一时间段所述相机传感器采集的事件流；比对所述当前事件流与所述历史事件流，根据比对结果确定所述相对静止的对象的感知结果。7.根据权利要求6所述的方法，其特征在于，所述当前事件流对应的成像区域中，包含多个第一成像区域块；所述历史事件流对应的成像区域中，包含多个与各所述第一成像区域块分别对应的第二成像区域块；所述比对所述当前事件流与所述历史事件流，根据比对结果确定所述相对静止的对象的感知结果，包括：
获取当前第一成像区域块包含的第一事件，以及与当前第一成像区域块对应的当前第二成像区域块包含的第二事件；所述当前第一成像区域块为所述多个第一成像区域块中的任意一个；比对所述第一事件与所述第二事件，在所述第一事件与所述第二事件之间的事件差值数量大于预设差值阈值时，将所述当前第一成像区域块作为目标第一成像区域块；在所述当前事件流对应的成像区域中，存在至少一个目标第一成像区域块的情况下，确定所述当前事件流中存在相对静止的对象。8.根据权利要求6所述的方法，其特征在于，所述比对所述当前事件流与所述历史事件流，包括：获取所述事件相机对应的历史位置数据；根据所述历史位置数据对所述历史事件流进行校正处理，得到校正处理后的历史事件流；比对所述当前事件流与所述校正处理后的历史事件流。9.一...

【专利技术属性】
技术研发人员：陆恩民，范叔炬，熊择正，张园，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：