一种脉冲阵列信号时空上采样器生成方法技术

本发明专利技术公开了一种脉冲阵列信号时空上采样器生成方法，包括：根据脉冲阵列信号空域和/或时域上采样需求参数，构建能使脉冲阵列信号由一端传输到另一端的神经网络；获取训练用输入信号和训练用输出信号；利用训练用输入信号和训练用输出信号将所述神经网络训练为上采样器；训练用输入信号为原始脉冲阵列信号，训练用输出信号为对原始脉冲阵列信号进行空域上采样和/或时域上采样得到的上采样信号。本发明专利技术增加了脉冲阵列的时域采样频率，从而提高了空间分辨率，适用于高速应用需求；增加了脉冲阵列空域采样频率，适用于视觉任务空间分辨率需求。

A method to generate the time-space sampler of pulse array signal

The invention discloses a pulse array signal spatiotemporal sampler generation method, which includes: according to the pulse array signal spatial and / or temporal sampling demand parameters, constructing a neural network that can make the pulse array signal transmit from one end to the other end; acquiring the input signal for training and the output signal for training; using the input signal for training and the output signal for training to generate the neural network The input signal for training is the original pulse array signal, and the output signal for training is the up sampling signal obtained by sampling the original pulse array signal in spatial domain and / or time domain. The invention increases the time-domain sampling frequency of the pulse array, thereby improving the spatial resolution, which is suitable for the high-speed application demand; increases the spatial sampling frequency of the pulse array, which is suitable for the spatial resolution demand of the vision task.

【技术实现步骤摘要】
一种脉冲阵列信号时空上采样器生成方法
本专利技术涉及信息处理
，具体涉及一种脉冲阵列信号时空上采样器生成方法。
技术介绍
近年来，时空脉冲阵列信号数据在计算神经科学(ComputingNeuroscience)、计算机视觉(ComputerVision)、社交媒体(SocialMedia)、地球大气科学(EarthandClimateScience)、交通运输(Transportation)等领域无处不在，并以海量数据的形式涌现。脉冲阵列信号由动态视觉传感器DVS(DynamicVisualSensor)所采集。DVS是一种仿生视觉传感器，其操作原理基于生物视网膜功能的抽象。动态视觉传感器(DynamicVisionSensor,DVS)是模仿神经元脉冲发放和视网膜外周细胞对亮度变化敏感机理的视觉传感器，发放的神经脉冲信号是以时空稀疏脉冲阵列信号描述，相对传统固定帧率相机具有高时间分辨率、低数据冗余、高动态范围、低功耗等优势，在无人驾驶视觉传感器、无人机视觉传感器和机器人视觉导航定位等领域有着巨大市场应用潜力。动态视觉传感器相机，每个像素点安装了一个动态视觉传感器，由于硬件条件的限制，所采集的范围往往较小，通常为128×128的低分辨率，难以满足清晰查看某个运动物体的需求，无法保证有效地进行信号处理、分析等应用任务。与传统相机相比，DVS没有使用固定帧频的数据采样方式，而是异步且独立地将局部强度对比度编码为精确的时间戳事件。一般DVS的时间分辨率为10Mevent/s，DVS可将高速运动事件记录为空时稀疏事件点阵，而传统相机的固定帧频在高速运动时易产生运动模糊。在数字信号处理中，上采样与多速率数字信号处理系统中的重采样过程相关。当对信号或其他连续函数的样本序列执行上采样时，它产生将以更高速率(或密度，如照片)对信号进行采样而获得的序列的近似值。对脉冲阵列信号的时空上采样出现在现实世界的各种应用中。例如，当我们想要查看DVS记录的结果时，由于用于显示结果的传感器的物理尺寸有限，这些记录通常只有128×128的低分辨率(LowResolution,LR)，但我们经常希望看到相应的放大高分辨率(HighResolution,HR)版本。所以需要对这些脉冲阵列信号进行时空上采样。在传统的计算机视觉中，已经提出了许多上采样算法，如最近邻点插值法、多元回归法、径向基函数法等等，并取得了良好的效果。但几乎所有传统方法都用于处理二维图像，不能直接应用于DVS采集到的脉冲阵列信号。其中一种解决方案是将DVS采集到的脉冲阵列信号转化为一帧帧的图片，再用传统的图片上采样方法，但这种方案会导致DVS相机失去特有的速度快且运动敏感的特性。
技术实现思路
本公开的一个目的是提供一种脉冲阵列信号时空上采样器生成的新的技术方案。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。根据本专利技术的一个方面，提供一种脉冲阵列信号时空上采样器生成方法，包括：根据脉冲阵列信号空域和/或时域上采样需求参数，构建能使脉冲阵列信号由一端传输到另一端的神经网络；获取训练用输入信号和训练用输出信号；利用训练用输入信号和训练用输出信号将所述神经网络训练为上采样器；其中，所述训练用输入信号为原始脉冲阵列信号，所述训练用输出信号为对原始脉冲阵列信号进行空域上采样和/或时域上采样得到的上采样信号；或者，所述训练用输入信号为对原始脉冲阵列信号进行空域下采样和/或时域下采样得到的下采样信号，所述训练用输出信号为原始脉冲阵列信号。进一步地，所述对原始脉冲阵列信号进行空域上采样，包括但不限于：脉冲阵列插值方法，根据脉冲阵列信号记录的视觉事件信息，将一段时间间隔内的脉冲阵列信号转换为二维矩阵；上采样所述二维矩阵；将上采样后的二维矩阵重新转为脉冲阵列信号，得到上采样后的脉冲阵列信号；依据尺度参数选择进行空域上采样，在限定空间分辨率内，依据空域尺度参数增加像素间事件。进一步地，所述的脉冲阵列插值方法，包括：脉冲频率累积，在一定时间间隔内将脉冲阵列信号累积为二维矩阵，再对二维矩阵进行空域上采样；脉冲阵列信号生成，依据二维空间上采样的累积频率，采样点随机过程仿真生成脉冲事件。进一步地，所述的对二维矩阵进行空域上采样的算法，包括但不仅限于：双线性内插法，利用待求像素四个相邻像素的灰度在两个方向上作线性内插；三次内插法，利用三次多项式，求逼近理论上最佳插值函数，待求像素的灰度值由其周围16个灰度值加权内插得到。进一步地，所述的脉冲阵列信号生成，包括但不仅限于：将每个像素的事件序列建模为随机点过程，通过非齐次泊松过程来模拟特定速率函数的生成事件。进一步地，所述的神经网络，包括但不限于：深度神经网络，为采用点过程网络结构，根据空域或时域上采样需求构建的端到端的深度网络结构；脉冲神经网络，为根据类脑神经模型和脉冲发放模型构建的网络结构。进一步地，所述的原始脉冲阵列信号，为时空稀疏异步的点阵，其记录运动事件的信息。进一步地，所述的对原始脉冲阵列信号进行时域上采样，包括：依据尺度参数选择进行时域上采样，在限定时间间隔内，依据时域尺度参数增加事件。进一步地，在将所述神经网络训练为上采样器的过程中，神经网络的学习方式包括但不限于：无监督学习，采用局部无监督学习规则，无需设计损失函数；有监督学习，设计脉冲阵列信号度量的损失函数。根据本专利技术的另一个方面，提供一种脉冲阵列信号时空上采样方法，包括：将待上采样的脉冲阵列信号输入所述的上采样器，依据脉冲阵列信号空域和/或时域上采样需求参数输出上采样脉冲阵列信号。根据本专利技术的另一个方面，提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现所述的方法。根据本专利技术的另一个方面，提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以实现所述的方法。本专利技术实施例提供的技术方案可以包括以下有益效果：本专利技术提供的脉冲阵列信号时空上采样器生成方法，利用该上采样器可以进行脉冲阵列信号时空上采样，本专利技术增加了脉冲阵列的时域采样频率，从而提高了空间分辨率，适用于高速应用需求；增加了脉冲阵列空域采样频率，适用于视觉任务空间分辨率需求，为进行脉冲阵列信号处理与分析等应用任务提供了基础和前提，利用该上采样器进行脉冲阵列信号时空上采样，可以很好地满足高速应用需求和视觉任务空间高分辨率需求。本专利技术的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者，部分特征和优点可以从说明书中推知或毫无疑义地确定，或者通过实施本专利技术实施例了解。本专利技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本文档来自技高网...

【技术保护点】
1.一种脉冲阵列信号时空上采样器生成方法，其特征在于，包括：根据脉冲阵列信号空域和/或时域上采样需求参数，构建能使脉冲阵列信号由一端传输到另一端的神经网络；获取训练用输入信号和训练用输出信号；利用训练用输入信号和训练用输出信号将所述神经网络训练为上采样器；其中，所述训练用输入信号为原始脉冲阵列信号，所述训练用输出信号为对原始脉冲阵列信号进行空域上采样和/或时域上采样得到的上采样信号；或者，所述训练用输入信号为对原始脉冲阵列信号进行空域下采样和/或时域下采样得到的下采样信号，所述训练用输出信号为原始脉冲阵列信号。

【技术特征摘要】
1.一种脉冲阵列信号时空上采样器生成方法，其特征在于，包括：根据脉冲阵列信号空域和/或时域上采样需求参数，构建能使脉冲阵列信号由一端传输到另一端的神经网络；获取训练用输入信号和训练用输出信号；利用训练用输入信号和训练用输出信号将所述神经网络训练为上采样器；其中，所述训练用输入信号为原始脉冲阵列信号，所述训练用输出信号为对原始脉冲阵列信号进行空域上采样和/或时域上采样得到的上采样信号；或者，所述训练用输入信号为对原始脉冲阵列信号进行空域下采样和/或时域下采样得到的下采样信号，所述训练用输出信号为原始脉冲阵列信号。2.根据权利要求1所述的方法，其特征在于，所述对原始脉冲阵列信号进行空域上采样，包括但不限于：脉冲阵列插值方法，根据脉冲阵列信号记录的视觉事件信息，将一段时间间隔内的脉冲阵列信号转换为二维矩阵；上采样所述二维矩阵；将上采样后的二维矩阵重新转为脉冲阵列信号，得到上采样后的脉冲阵列信号；依据尺度参数选择进行空域上采样，在限定空间分辨率内，依据空域尺度参数增加像素间事件。3.根据权利要求2所述的方法，其特征在于，所述的脉冲阵列插值方法，包括：脉冲频率累积，在一定时间间隔内将脉冲阵列信号累积为二维矩阵，再对二维矩阵进行空域上采样；脉冲阵列信号生成，依据二维空间上采样的累积频率，采样点随机过程仿真生成脉冲事件。4.根据权利要求3所述的方法，其特征在于，所述的对二维矩阵进行空域上采样的算法，包括但不仅限于：双线性内插法，利用待求像素四个相邻像素的灰度在两个方向上作线性内插；三次内插法，利用三次多项式，求逼近理论上最佳插值函数，待求像素的灰度值由其周围16个灰度值加权...

【专利技术属性】
技术研发人员：田永鸿，项锡捷，李家宁，朱林，付溢华，董思维，黄铁军，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京,11