基于脉冲图像重构的图像检测方法、装置、设备及介质制造方法及图纸

本申请涉及图像检测与处理技术领域，更为具体来说，本申请涉及基于脉冲图像重构的图像检测方法、装置、设备及介质。所述方法包括：获取目标脉冲图像，并确定所述目标脉冲图像中的多帧关键帧图像；将所述多帧关键帧图像通过图像FPGA重构图像检测系统中的TFP重构模块进行重构，得到重构图像；将所述重构图像通过所述图像FPGA重构图像检测系统中的CNN检测模块进行检测，得到识别结果，其中，所述CNN检测模块是预先训练好的。本申请解决了重构算法在CPU实现需要和CNN进行交互浪费大量带宽的问题，同时减少了延时，提升了重构后检测的速度，因此选择在FPGA上同时实现检测和重构，检测采用卷积神经网络加速器的形式，极大提高了检测速度及检测精准度。度及检测精准度。度及检测精准度。

【技术实现步骤摘要】
基于脉冲图像重构的图像检测方法、装置、设备及介质


[0001]本申请涉及图像检测与处理
，更为具体来说，本申请涉及基于脉冲图像重构的图像检测方法、装置、设备及介质。

技术介绍

[0002]实时高速多目标跟踪已成为自主驾驶和智能视频分析的迫切需求。传统的摄像机无法跟上物体的运动速度，由于采样率不足，不可避免地引入运动模糊。脉冲相机的像素根据场景光强变化以高时间分辨率异步输出脉冲，可以很好捕捉场景中的高速运动，同时输出脉冲天然适合作为脉冲神经网络(SNN)的输入，但是现有的一些SNN算法远不如卷积神经网络(CNN)的性能。
[0003]然而利用CNN去做检测需要的算力比较大，浪费了脉冲的高频特性，因此选定在FPGA上进行CNN网络的加速，在FPGA上完成CNN加速器设计相对容易，但是TFP算法如果在CPU上进行重构，再通过总线输入神经网络加速器，中间的传输延时又比较大。

技术实现思路

[0004]基于上述技术问题，本专利技术旨在通过在FPGA上将脉冲图像重构和CNN网络加速结合起来，以实现检测的精准和迅速。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于脉冲图像重构的图像检测方法，其特征在于，所述方法包括：获取目标脉冲图像，并确定所述目标脉冲图像中的多帧关键帧图像；将所述多帧关键帧图像通过图像FPGA重构图像检测系统中的TFP重构模块进行重构，得到重构图像；将所述重构图像通过所述图像FPGA重构图像检测系统中的CNN检测模块进行检测，得到识别结果，其中，所述CNN检测模块是预先训练好的。2.根据权利要求1所述的基于脉冲图像重构的图像检测方法，其特征在于，所述图像FPGA重构图像检测系统基于FPGA片设计，所述TFP重构模块部署于所述FPGA片上；所述TFP重构模块包括累加器、移位器、乒乓缓冲器，以实现滑动窗口功能。3.根据权利要求2所述的基于脉冲图像重构的图像检测方法，其特征在于，所述乒乓缓冲器包括第一乒乓缓冲器和第二乒乓缓冲器；将所述多帧关键帧图像通过图像FPGA重构图像检测系统中的TFP重构模块进行重构，得到重构图像，包括：缓冲步骤：针对所述多帧关键帧图像，确定当前待重构像素，将所述当前待重构像素在预设数帧关键帧图像中对应的数值存储于所述第一乒乓缓冲器；累加步骤：通过所述累加器累加所述第一乒乓缓冲器中1的个数，得到累加和，并将所述累加和存储于所述第二乒乓缓冲器；移位步骤：通过所述移位器对所述第二乒乓缓冲器中的所述累加和进行归一化处理，得到第一重构像素；重复所述缓冲步骤、所述累加步骤和所述移位步骤，直至确定所述多帧关键帧图像中所有像素均重构完成时，得到重构图像。4.根据权利要求3所述的基于脉冲图像重构的图像检测方法，其特征在于，重复所述缓冲步骤、所述累加步骤和所述移位步骤，直至确定所述多帧关键帧图像中所有像素均重构完成时，得到重构图像，包括：针对所述多帧关键帧图像中除去当前待重构像素外的剩余待重构像素，将所述剩余待重构像素根据所述缓冲步骤、所述累加步骤和所述移位步骤执行，得到与所述剩余待重构像素数量对应的重构像素；将由第一重构像素及与所述剩余待重构像素数量...

【专利技术属性】
技术研发人员：李源，李志国，黄铁军，
申请(专利权)人：北京大学，
类型：发明
国别省市：