基于视频帧与脉冲阵列信号的联合目标检测方法与装置制造方法及图纸

本发明专利技术公开了一种基于视频帧与脉冲阵列信号的联合目标检测方法和装置，该方法包括：将视频帧和脉冲阵列信号作为目标检测的输入；将连续的脉冲阵列信号进行自适应划分；根据视频帧频率与脉冲阵列信号划分频率的关系，进行同步融合或异步融合检测；将视频帧与脉冲阵列信号以特征表达形式进行融合；输出检测结果。本发明专利技术可有效地利用脉冲阵列信号的高时间分辨率和高动态能力来提供传统相机的目标检测精度，尤其解决高速运动模糊、过曝光或低光照等场景的检测难题。在无人驾驶视觉检测与导航、无人机巡航与定位、机器人视觉导航和视频监控等涉及高速运动领域存在广泛应用潜力。

Joint target detection method and device based on video frame and pulse array signal

The invention discloses a joint target detection method and device based on video frame and pulse array signal, the method includes: taking video frame and pulse array signal as the input of target detection; making adaptive division of continuous pulse array signal; making synchronous fusion or asynchronous fusion detection according to the relationship between video frame frequency and pulse array signal division frequency; viewing Frequency frame and pulse array signal are fused in the form of feature expression, and the detection results are output. The invention can effectively utilize the high time resolution and high dynamic ability of pulse array signal to provide the target detection accuracy of traditional camera, especially to solve the detection problems of high-speed motion blur, overexposure or low illumination scenes. It has a wide application potential in the field of high-speed motion, such as vision detection and navigation of unmanned aerial vehicle, cruise and positioning of unmanned aerial vehicle, vision navigation of robot and video monitoring.

【技术实现步骤摘要】
基于视频帧与脉冲阵列信号的联合目标检测方法与装置
本专利技术涉及计算机视觉
，具体涉及一种基于视频帧与脉冲阵列信号的联合目标检测方法与装置。
技术介绍
目标检测的任务是找出视觉场景中所感兴趣的目标对象，确定它们的位置与大小，是机器视觉领域的核心问题，在无人驾驶视觉检测与导航、无人机巡航与定位、机器人视觉导航和视频监控等领域广泛应用。视觉传感器相比激光雷达和超声波等，具有高的空间分辨率，同时捕获充足的视频数据，在目标检测任务占重要的地位。传统相机是基于固定曝光时间采样，有固定时间间隔对光强积分构成的视频帧(一般为30-120帧/秒)，在慢速场景和正常光照场景可捕获场景的清晰的纹理细节，然而传统相机的低时间分辨率和低动态光强感知范围，在高速运动场景容易产生运动模糊，在过曝光场景和低光照场景无法清晰成像，使得传统相机在高速运动和光照敏感场景的目标检测面临着重大挑战。此外，基于帧的高速相机存在数据冗余量大、体积大和价格昂贵等劣势。生物视觉系统具有高清晰、低功耗、鲁棒性强等优势，同时能高效地进行光学信号处理、感知复杂场景和物体三维信息，理解和识别场景。近年来，仿视网膜传感器是模仿生物视网膜视觉通路的成像机理，目前主要有动态视觉传感器(DynamicVisionSensor,DVS)和超高速全时视觉传感器(UltraSpeedFulltimeSensor,UFS)。动态视觉传感器是模拟神经元脉冲发放和视网膜外周细胞对亮度变化敏感机理的视觉传感器，发放的神经脉冲信号是以时空稀疏脉冲阵列信号描述，相对传统固定帧率相机具有高时间分辨率、高动态范围、低功耗等优势，但无法捕获场景的纹理细节；超高速全时视觉传感器是模拟视网膜中央凹清晰成像的机理，发放的神经脉冲信号是对场景的光强积分超过阈值，以时空稀疏脉冲信号全时记录视觉信息，相比传统固定帧率的相机具有高时间分辨率、高动态氛围等优势，同时相比动态视觉传感器具有捕获场景纹理细节的能力。人类在视觉传感器上取得了重大的进步，在实际复杂的任务上而远不及生物视觉系统。传统帧率视觉传感器可采集到高清晰的图像，但数据采集存在较大冗余、感光动态范围小、固定帧率的时域分辨率低、在高速运动模糊等缺点。生物视觉系统具有高清晰、低功耗、鲁棒性强等优势，同时能高效地进行光学信号处理、感知复杂场景和物体三维信息，理解和识别场景。动态视觉传感器是模仿神经元脉冲发放和视网膜外周细胞对亮度变化敏感机理的视觉传感器，发放的神经脉冲信号是以时空稀疏脉冲阵列信号描述，相对传统固定帧率相机具有高时间分辨率、高动态范围、低功耗等优势，在无人驾驶视觉传感器、无人机视觉传感器和机器人视觉导航定位等领域有着巨大市场应用潜力。因此，如何对时空脉冲阵列进行特征表达，并利用仿视网膜传感器的高时间分辨率、高动态范围来解决传统相机在高速运动、过光照和低光照场景的难以高精度检测的问题，并充分利用传统相机的高空间分辨率成像的优势，是当前亟待解决的问题。同时，开发对视频帧与脉冲阵列的联合目标检测方法与装置是一个亟待解决的问题。
技术实现思路
针对上述现有技术存在的问题，本专利技术实施例提供了一种解决至少部分上述问题的基于视频帧与脉冲阵列信号的联合目标检测方法与装置。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。根据本专利技术的第一方面，提供一种基于视频帧与脉冲阵列信号的联合目标检测方法，包括：将视频帧和脉冲阵列信号作为目标检测的输入；将连续的脉冲阵列信号进行自适应划分；根据视频帧频率与脉冲阵列信号划分频率的关系，进行同步融合或异步融合检测；将视频帧与脉冲阵列信号以特征表达形式进行融合；输出检测结果。进一步地，所述脉冲阵列信号为仿视网膜传感器采样的脉冲阵列信号，所述脉冲阵列信号表示为在时域和空域的三维空间稀疏离散点阵。进一步地，所述将连续的脉冲阵列信号进行自适应划分包括依据脉冲时空特性进行自适应时间和空间的划分。进一步地，所述的同步融合或异步融合检测，依据为脉冲阵列信号划分的频率与视频帧率是否一致，若脉冲阵列信号划分频率与视频帧率相同，则是同步融合；否则是异步融合。进一步地，所述将视频帧与脉冲阵列信号以特征表达形式进行融合为在检测前端融合或检测算法中融合或后端联合决策进行融合。进一步地，所述的检测前端融合，即在输出检测算法前将视频帧和脉冲阵列进行融合，包括但不限于：信号通道叠加，将视频帧的信号通道与脉冲阵列积分帧的通道进行叠加，生成融合帧；信号通道融合，将视频帧和脉冲阵列信号的积分帧采用互补方法或深度学习方法融合的方式，生成融合帧。进一步地，所述的检测算法中融合，即在目标检测算法中将视频流与脉冲阵列流进行融合，包括：采用深度学习方法和脉冲神经网络方法的融合，将视频帧和脉冲阵列流分别输入对应的特征子网络，再将子网络流输出到融合子网络进行融合，以实现端到端的的目标检测方法。进一步地，所述的目标检测算法，包括但不限于：基于传统帧的目标检测算法，将脉冲阵列信号转换为帧或特征图输入到传统目标检测算法；基于稀疏点的深度学习网络算法，即在稀疏离散的点阵上进行特征提取与操作。进一步地，所述的脉冲神经网络方法，采用类脑神经模型在稀疏离散的点阵上进行特征提取与操作，实现运动目标的检测。进一步地，所述的后端联合决策融合，即将视频帧和脉冲阵列在检测算法中分别的检测结果进行决策输出，包括但不限于：裁判判决理论融合，将目标检测算法输出的检测框与置信分数，在先验信息进行置信分数的概率动态分配，依据二者概率进行联合决策；贝叶斯理论决策，将目标检测算法输出的检测框与置信分数，利用先验概率推出当前目标的后验概率进行决策。进一步地，所述将视频帧与脉冲阵列信号以特征表达形式进行融合，融合的方式包括但不限于：融合帧的形式，即在输入检测算法前，将脉冲阵列信号在固定时间内进行累积为积分帧，再将视频帧与积分帧进行融合为输入帧；融合特征图的形式，将视频帧和脉冲阵列以特征图的形式在检测算法中融合；融合检测结果的形式，将视频帧和脉冲阵列信号分别在检测器中的输出的目标框和置信分数进行融合。根据本专利技术的第二方面，提供一种基于视频帧与脉冲阵列信号的联合目标检测装置，包括：输入模块，用于将视频帧和脉冲阵列信号作为目标检测的输入；划分模块，用于将连续的脉冲阵列信号进行自适应划分；检测模块，用于根据视频帧频率与脉冲阵列信号划分频率的关系，进行同步融合或异步融合检测；融合模块，用于将视频帧与脉冲阵列信号以特征表达形式进行融合；输出模块，用于输出检测结果。根据本专利技术的第三方面，提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现所述的方法。根据本专利技术的第四方面，提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以实现所述的方法。本专利技术实施例提供的技术方案可以包括以下有益效果：本专利技术提供的基于视频帧与脉冲阵列信号的联合目标检测方法与装置,可有效地利用脉冲阵列信号的高时间分辨率和高动态能力来提供传统相机的目标检测精度，尤其解决高速运动模糊、过曝光本文档来自技高网...

【技术保护点】
1.一种基于视频帧与脉冲阵列信号的联合目标检测方法，其特征在于，包括：将视频帧和脉冲阵列信号作为目标检测的输入；将连续的脉冲阵列信号进行自适应划分；根据视频帧频率与脉冲阵列信号划分频率的关系，进行同步融合或异步融合检测；将视频帧与脉冲阵列信号以特征表达形式进行融合；输出检测结果。

【技术特征摘要】
1.一种基于视频帧与脉冲阵列信号的联合目标检测方法，其特征在于，包括：将视频帧和脉冲阵列信号作为目标检测的输入；将连续的脉冲阵列信号进行自适应划分；根据视频帧频率与脉冲阵列信号划分频率的关系，进行同步融合或异步融合检测；将视频帧与脉冲阵列信号以特征表达形式进行融合；输出检测结果。2.根据权利要求1所述的方法，其特征在于，所述脉冲阵列信号为仿视网膜传感器采样的脉冲阵列信号，所述脉冲阵列信号表示为在时域和空域的三维空间稀疏离散点阵。3.根据权利要求1所述的方法，其特征在于，所述将连续的脉冲阵列信号进行自适应划分包括依据脉冲时空特性进行自适应时间和空间的划分。4.根据权利要求1所述的方法，其特征在于，所述的同步融合或异步融合检测，依据为脉冲阵列信号划分的频率与视频帧率是否一致，若脉冲阵列信号划分频率与视频帧率相同，则是同步融合；否则是异步融合。5.根据权利要求1所述的方法，其特征在于，所述将视频帧与脉冲阵列信号以特征表达形式进行融合为在检测前端融合或检测算法中融合或后端联合决策进行融合。6.根据权利要求5所述的方法，其特征在于，所述的检测前端融合，为在输出检测算法前将视频帧和脉冲阵列进行融合，包括但不限于：信号通道叠加，将视频帧的信号通道与脉冲阵列积分帧的通道进行叠加，生成融合帧；信号通道融合，将视频帧和脉冲阵列信号的积分帧采用互补方法或深度学习方法融合的方式，生成融合帧。7.根据权利要求5所述的方法，其特征在于，所述的检测算法中融合，为在目标检测算法中将视频流与脉冲阵列流进行融合，包括：采用深度学习方法和脉冲神经网络方法的融合，将视频帧和脉冲阵列流分别输入对应的特征子网络，再将子网络流输出到融合子网络进行融合，以实现端到端的的目标检测方法。8.根据权利要求7所述的方法，其特征在于，所述的目标检测算法，包括但不限于：基于传统帧的目标检测算法，将脉冲阵列信号转换为帧或特征图输入到传统目标检测算法；基...

【专利技术属性】
技术研发人员：田永鸿，李家宁，朱林，付溢华，项锡捷，董思维，黄铁军，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京,11