本申请提供了一种脉冲相机仿真方法、装置、控制设备及可读存储介质，所述方法包括：提取待仿真视频的关键帧序列，将所述关键帧序列转换成强度图序列；根据所述脉冲相机的工作时钟频率提升所述强度图序列的帧率；获取积分发放模型，根据所述积分发放模型对所述强度图序列进行仿真；输出仿真后的脉冲数据。这样，通过模拟脉冲相机的成像过程，将现有的图像和视频数据转化成脉冲数据，解决了真实的脉冲数据严重匮乏的问题。重匮乏的问题。重匮乏的问题。
【技术实现步骤摘要】
一种脉冲相机仿真方法、装置、控制设备及可读存储介质
[0001]本申请涉及计算机
，具体而言，涉及一种脉冲相机仿真方法、装置、控制设备及可读存储介质。
技术介绍
[0002]脉冲相机采用生物视觉启发的传感原理，具有超高的时间分辨率和生物启发的感知机理，突破了传统相机固定曝光时间的限制，对高速运动目标具有更强的探测能力。这种特点使得脉冲相机在高速运动场景方面例如自动驾驶等具有巨大的优势。
[0003]但是脉冲相机在具体应用时，并非是作为单独的设备直接输出最终结果，而是作为高速影像的提供方，提供脉冲数据供其他模块调用。因此，想要将脉冲相机进行实际的应用，需要提供大量真实的脉冲数据以进行模拟。当前真实的脉冲数据严重匮乏，为此，如何开发一种脉冲相机仿真算法，将现有的图像和视频数据转化成脉冲数据，是一个亟待解决的问题。
技术实现思路
[0004]本申请解决的问题是将现有的图像和视频数据转化成脉冲数据，解决脉冲数据匮乏的问题。
[0005]为解决上述问题，本申请第一方面提供了一种脉冲相机仿真方法，包括：提取待仿真视频的关键帧序列，将所述关键帧序列转换成强度图序列；根据所述脉冲相机的工作时钟频率提升所述强度图序列的帧率；获取积分发放模型，根据所述积分发放模型对所述强度图序列进行仿真；输出仿真后的脉冲数据。
[0006]优选地，所述根据所述脉冲相机的工作时钟频率提升所述强度图序列的帧率之后，所述方法还包括：对帧率提升后的所述强度图序列乘以变换系数进行亮度调整。
[0007]优选地，所述变换系数的取值范围为（1
‑
3）
×
10
‑4。
[0008]优选地，所述根据所述积分发放模型对所述强度图序列进行仿真中，确定仿真时间步和激发阈值，通过所述积分发放模型对每个仿真时间步进行积分，并在积分结果超出激发阈值后发放一个脉冲，基于发放的脉冲完成所述仿真。
[0009]优选地，所述将所述关键帧序列转换成强度图序列中，所述关键帧序列为彩色图像序列的情况下，将所述关键帧序列转换成R通道、G通道和B通道的强度图序列；所述关键帧序列为灰度图像序列的情况下，将所述关键帧序列转换成单通道的强度图序列。
[0010]优选地，所述积分发放模型为：模型中，C
pd
为转换电容，λ为转换系数，N1(t)为泊松模型，G(t)为所述强度图序列
的亮度强度，t为时间步，η为线性系数。
[0011]优选地，所述输出仿真后的脉冲数据中，将所述脉冲数据编码为二进制脉冲数据后输出。
[0012]本申请第二方面提供了一种脉冲相机仿真装置，其包括：帧提取模块，用于提取待仿真视频的关键帧序列，将所述关键帧序列转换成强度图序列；帧率提升模块，用于根据所述脉冲相机的工作时钟频率提升所述强度图序列的帧率；仿真模块，用于获取积分发放模型，根据所述积分发放模型对所述强度图序列进行仿真；输出模块，用于输出仿真后的脉冲数据。
[0013]本申请第三方面提供了一种电子设备，其特征在于，包括存储有计算机程序的计算机可读存储介质和处理器，所述计算机程序被所述处理器读取并运行时，实现如上述所述的脉冲相机仿真方法。
[0014]本申请第四方面提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器读取并运行时，实现如上述所述的脉冲相机仿真方法。
[0015]本申请第五方面提供了一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行实现如上述所述的脉冲相机仿真方法。
[0016]本申请中，通过模拟脉冲相机的成像过程，将现有的图像和视频数据转化成脉冲数据，解决了真实的脉冲数据严重匮乏的问题。
[0017]本申请中，通过引入变换系数，可以放大强度图序列的亮度值，从而弥补待仿真视频亮度不足的问题。
[0018]本申请中，在积分发放模型引入泊松模型进行加噪运算，从而对散射光引起的噪声进行加载，增加仿真的准确率。
附图说明
[0019]图1为根据本申请一个实施例的对照组图像和实验组图像的示例图；图2为根据本申请另一个实施例的对照组图像和实验组图像的示例图；图3为根据本申请一个实施例的脉冲相机仿真装置的结构框图；图4为根据本申请另一个实施例的脉冲相机仿真装置的结构框图；图5为根据本申请实施例的控制设备的结构框图。
具体实施方式
[0020]为使本申请的上述目的、特征和优点能够更为明显易懂，下面结合附图对本申请的具体实施例做详细的说明。虽然附图中显示了本申请的示例性实施方式，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
[0021]需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。
[0022]当前的机器视觉领域虽然取得了巨大成功，但在高速场景中依然面临着诸多挑战。例如，自动驾驶过程中，对于突然出现的运动目标，传统相机由于固定曝光时间间隔的成像模式，引起成像模糊和数十毫秒的数据延迟。对于高速行驶的汽车，该问题会造成非常危险的后果。
[0023]脉冲相机采用生物视觉启发的传感原理，每个像素独立感知光的强度并转化成电荷累积。当累积电荷超过触发阈值后，像素会立刻激发一个脉冲并复位电压。激发的脉冲随高速扫描时钟读出。脉冲相机凭借超高的时间分辨率和生物启发的感知机理，突破了传统相机固定曝光时间的限制，因此对高速运动目标具有更强的探测能力。这种成像原理带来了时间分辨率和动态范围的大幅度提升，使得传统相机在高速运动场景中面临的诸多问题都迎刃而解。
[0024]但是脉冲相机在具体应用时，并非是作为单独的设备直接输出最终结果，而是作为高速影像的提供方，提供脉冲数据供其他模块调用。例如，输出脉冲数据后，控制模块或者计算模块通过训练好的深度神经网络模型进行解析，输出对应的特征，从而进行自动驾驶决策。
[0025]这种使用方式意味着，想要将脉冲相机进行实际的应用，需要提供大量真实的脉冲数据以进行深度神经网络模型的训练，从而可以进行实际使用。但是，因为脉冲相机的新颖性和较高的制造成本，目前这种相机难以大规模普及。进而导致真实的脉冲数据严重匮乏。现有的大规模图像和视频数据与脉冲数据在格式上完全不同，因此大大限制了基于脉冲相机的研究和应用。
[0026]在此情况下，开发一种脉冲相机仿真算法，将现有的图像和视频数据转化成脉冲数据，是一个亟待解决的问题。
[0027]针对上述问题，本申请提供一种新的脉冲相机仿真方案，能够将现有的图像和视频数据转化成脉冲数据，解决真实的脉冲数据严重匮乏的问题。
[0028]本申请实施例提供了一种脉冲相机仿真方法，该方法可以由脉冲相机仿真装置来执行，该脉冲相机仿真装置可以集成在pad、电脑、服务器、计算机、服本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种脉冲相机仿真方法，其特征在于，包括：提取待仿真视频的关键帧序列，将所述关键帧序列转换成强度图序列；根据所述脉冲相机的工作时钟频率提升所述强度图序列的帧率；获取积分发放模型，根据所述积分发放模型对所述强度图序列进行仿真；输出仿真后的脉冲数据。2.根据权利要求1所述的方法，其特征在于，所述根据所述脉冲相机的工作时钟频率提升所述强度图序列的帧率之后，所述方法还包括：对帧率提升后的所述强度图序列乘以变换系数进行亮度调整。3.根据权利要求1所述的方法，其特征在于，所述根据所述积分发放模型对所述强度图序列进行仿真中，确定仿真时间步和激发阈值，通过所述积分发放模型对每个仿真时间步进行积分，并在积分结果超出激发阈值后发放一个脉冲，基于发放的脉冲完成所述仿真。4.根据权利要求1
‑
3中任一项所述的方法，其特征在于，所述将所述关键帧序列转换成强度图序列中，所述关键帧序列为彩色图像序列的情况下，将所述关键帧序列转换成R通道、G通道和B通道的强度图序列；所述关键帧序列为灰度图像序列的情况下，将所述关键帧序列转换成单通道的强度图序列。5.根据权利要求1
‑
3中任一项所述的方法，其特征在于，所述积分发放模型为：模型中，C
pd
为...
【专利技术属性】
技术研发人员：黄铁军，张史梁，赵君伟，马雷，余肇飞，
申请(专利权)人：北京大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。