基于脉冲图像重构的图像检测方法、装置、设备及介质制造方法及图纸

本申请涉及图像检测与处理技术领域，更为具体来说，本申请涉及基于脉冲图像重构的图像检测方法、装置、设备及介质。所述方法包括：获取目标脉冲图像，并确定所述目标脉冲图像中的多帧关键帧图像；将所述多帧关键帧图像通过图像FPGA重构图像检测系统中的TFP重构模块进行重构，得到重构图像；将所述重构图像通过所述图像FPGA重构图像检测系统中的CNN检测模块进行检测，得到识别结果，其中，所述CNN检测模块是预先训练好的。本申请解决了重构算法在CPU实现需要和CNN进行交互浪费大量带宽的问题，同时减少了延时，提升了重构后检测的速度，因此选择在FPGA上同时实现检测和重构，检测采用卷积神经网络加速器的形式，极大提高了检测速度及检测精准度。度及检测精准度。度及检测精准度。

【技术实现步骤摘要】
基于脉冲图像重构的图像检测方法、装置、设备及介质


[0001]本申请涉及图像检测与处理
，更为具体来说，本申请涉及基于脉冲图像重构的图像检测方法、装置、设备及介质。

技术介绍

[0002]实时高速多目标跟踪已成为自主驾驶和智能视频分析的迫切需求。传统的摄像机无法跟上物体的运动速度，由于采样率不足，不可避免地引入运动模糊。脉冲相机的像素根据场景光强变化以高时间分辨率异步输出脉冲，可以很好捕捉场景中的高速运动，同时输出脉冲天然适合作为脉冲神经网络(SNN)的输入，但是现有的一些SNN算法远不如卷积神经网络(CNN)的性能。
[0003]然而利用CNN去做检测需要的算力比较大，浪费了脉冲的高频特性，因此选定在FPGA上进行CNN网络的加速，在FPGA上完成CNN加速器设计相对容易，但是TFP算法如果在CPU上进行重构，再通过总线输入神经网络加速器，中间的传输延时又比较大。

技术实现思路

[0004]基于上述技术问题，本专利技术旨在通过在FPGA上将脉冲图像重构和CNN网络加速结合起来，以实现检测的精准和迅速。
[0005]本专利技术第一方面提供了一种基于脉冲图像重构的图像检测方法，所述方法包括：
[0006]获取目标脉冲图像，并确定所述目标脉冲图像中的多帧关键帧图像；
[0007]将所述多帧关键帧图像通过图像FPGA重构图像检测系统中的TFP重构模块进行重构，得到重构图像；
[0008]将所述重构图像通过所述图像FPGA重构图像检测系统中的CNN检测模块进行检测，得到识别结果，其中，所述CNN检测模块是预先训练好的。
[0009]在本专利技术的一些实施例中，所述图像FPGA重构图像检测系统基于FPGA片设计，所述TFP重构模块部署于所述FPGA片上；所述TFP重构模块包括累加器、移位器、乒乓缓冲器，以实现滑动窗口功能。
[0010]在本专利技术的一些实施例中，所述乒乓缓冲器包括第一乒乓缓冲器和第二乒乓缓冲器；将所述多帧关键帧图像通过图像FPGA重构图像检测系统中的TFP重构模块进行重构，得到重构图像，包括：
[0011]缓冲步骤：针对所述多帧关键帧图像，确定当前待重构像素，将所述当前待重构像素在预设数帧关键帧图像中对应的数值存储于所述第一乒乓缓冲器；
[0012]累加步骤：通过所述累加器累加所述第一乒乓缓冲器中1的个数，得到累加和，并将所述累加和存储于所述第二乒乓缓冲器；
[0013]移位步骤：通过所述移位器对所述第二乒乓缓冲器中的所述累加和进行归一化处理，得到第一重构像素；
[0014]重复所述缓冲步骤、所述累加步骤和所述移位步骤，直至确定所述多帧关键帧图
像中所有像素均重构完成时，得到重构图像。
[0015]在本专利技术的一些实施例中，重复所述缓冲步骤、所述累加步骤和所述移位步骤，直至确定所述多帧关键帧图像中所有像素均重构完成时，得到重构图像，包括：
[0016]针对所述多帧关键帧图像中除去当前待重构像素外的剩余待重构像素，将所述剩余待重构像素根据所述缓冲步骤、所述累加步骤和所述移位步骤执行，得到与所述剩余待重构像素数量对应的重构像素；
[0017]将由第一重构像素及与所述剩余待重构像素数量对应的重构像素合成为重构图像。
[0018]在本专利技术的一些实施例中，所述CNN检测模块包括多个卷积层，且在所述多个卷积层中选取靠前的预设数个卷积层融合池化功能，在每个融合池化功能的卷积层后面还设置有卷积缓冲器，其中，在所述多个卷积层中选取靠前的预设数个卷积层融合池化功能包括将预设数个卷积核与预设数个池化核融合设计，以实现CNN检测模块的加速作用。
[0019]在本专利技术的一些实施例中，所述卷积层包括乘累加单元、比较器、选择器。
[0020]在本专利技术的一些实施例中，将所述重构图像通过所述图像FPGA重构图像检测系统中的CNN检测模块进行检测，得到识别结果，包括：
[0021]输入步骤：将所述重构图像输入CNN检测模块，并获取CNN检测模块所需要的权重值、偏置；
[0022]卷积步骤：将所述重构图像结合权重值、偏置通过第一层卷积层进行第一轮的卷积与池化融合计算，得到第一计算结果，并将所述第一结果存储于卷积缓冲器；
[0023]将所述第二结果通过第二层卷积层进行第二轮的卷积与池化融合计算，且循环执行所述卷积步骤，直至识别出所述重构图像。
[0024]本专利技术第二方面提供了一种图像FPGA重构图像检测系统，所述系统包括：
[0025]获取模块，被配置为获取目标脉冲图像，并确定所述目标脉冲图像中的多帧关键帧图像；
[0026]TFP重构模块，将所述多帧关键帧图像进行重构，得到重构图像；
[0027]CNN检测模块，将所述重构图像进行检测，得到识别结果，其中，所述CNN检测模块是预先训练好的。
[0028]本专利技术第三方面提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行本专利技术各实施例中的所述方法。
[0029]本专利技术第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本专利技术各实施例中的所述方法。
[0030]本申请实施例中提供的技术方案，至少具有如下技术效果或优点：
[0031]本申请获取目标脉冲图像，并确定所述目标脉冲图像中的多帧关键帧图像，将所述多帧关键帧图像通过图像FPGA重构图像检测系统中的TFP重构模块进行重构，得到重构图像，将所述重构图像通过所述图像FPGA重构图像检测系统中的CNN检测模块进行检测，得到识别结果，其中，所述CNN检测模块是预先训练好的，解决了重构算法在CPU实现需要和CNN进行交互浪费大量带宽的问题，同时减少了延时，提升了重构后检测的速度，因此选择在FPGA上同时实现检测和重构，检测采用卷积神经网络加速器的形式，极大提高了检测速
度及检测精准度。
[0032]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术。
附图说明
[0033]通过阅读下文优选实施方式的详细描述，各种其它的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
[0034]图1示出了本申请一示例性实施例中的基于脉冲图像重构的图像检测方法步骤示意图；
[0035]图2示出了本申请一示例性实施例中的TFP重构模块示意图；
[0036]图3示出了本申请一示例性实施例中的滑动窗口示意图；
[0037]图4示出了本申请一示例性实施例中的CNN检测模块示意图；
[0038]图5示出了本申请一示例性实施例中的卷积核与池化核融合后工作示意图；
[0039]图6示出了本申请一示例性实施例中的卷积核与池化核融合后卷积层示意图；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于脉冲图像重构的图像检测方法，其特征在于，所述方法包括：获取目标脉冲图像，并确定所述目标脉冲图像中的多帧关键帧图像；将所述多帧关键帧图像通过图像FPGA重构图像检测系统中的TFP重构模块进行重构，得到重构图像；将所述重构图像通过所述图像FPGA重构图像检测系统中的CNN检测模块进行检测，得到识别结果，其中，所述CNN检测模块是预先训练好的。2.根据权利要求1所述的基于脉冲图像重构的图像检测方法，其特征在于，所述图像FPGA重构图像检测系统基于FPGA片设计，所述TFP重构模块部署于所述FPGA片上；所述TFP重构模块包括累加器、移位器、乒乓缓冲器，以实现滑动窗口功能。3.根据权利要求2所述的基于脉冲图像重构的图像检测方法，其特征在于，所述乒乓缓冲器包括第一乒乓缓冲器和第二乒乓缓冲器；将所述多帧关键帧图像通过图像FPGA重构图像检测系统中的TFP重构模块进行重构，得到重构图像，包括：缓冲步骤：针对所述多帧关键帧图像，确定当前待重构像素，将所述当前待重构像素在预设数帧关键帧图像中对应的数值存储于所述第一乒乓缓冲器；累加步骤：通过所述累加器累加所述第一乒乓缓冲器中1的个数，得到累加和，并将所述累加和存储于所述第二乒乓缓冲器；移位步骤：通过所述移位器对所述第二乒乓缓冲器中的所述累加和进行归一化处理，得到第一重构像素；重复所述缓冲步骤、所述累加步骤和所述移位步骤，直至确定所述多帧关键帧图像中所有像素均重构完成时，得到重构图像。4.根据权利要求3所述的基于脉冲图像重构的图像检测方法，其特征在于，重复所述缓冲步骤、所述累加步骤和所述移位步骤，直至确定所述多帧关键帧图像中所有像素均重构完成时，得到重构图像，包括：针对所述多帧关键帧图像中除去当前待重构像素外的剩余待重构像素，将所述剩余待重构像素根据所述缓冲步骤、所述累加步骤和所述移位步骤执行，得到与所述剩余待重构像素数量对应的重构像素；将由第一重构像素及与所述剩余待重构像素数量...

【专利技术属性】
技术研发人员：李源，李志国，黄铁军，
申请(专利权)人：北京大学，
类型：发明
国别省市：