本发明专利技术公开了一种数据转换方法、事件驱动信息处理方法、特征提取器以及基于点云的脉冲神经网络SpikePoint。为解决现有基于事件相机进行动作识别难以同时实现高效、轻量级、低功耗和高精度的商业需求，本发明专利技术直接处理原始点云数据，有效地提取事件云的全局和局部特征，并维持点云的顺序不变，并通过脉冲的方式传递信息，由脉冲神经网络进行推理。本发明专利技术擅长处理原始事件云数据，并保留了有价值的时空信息，提升了动作识别的准确性和性能，同时基于残差连接和瓶颈方法，实现轻量级设计的同时，维持高实时性、高精度和低功耗。本发明专利技术适于类脑芯片、边缘计算、事件相机及计算机视觉领域。事件相机及计算机视觉领域。事件相机及计算机视觉领域。
【技术实现步骤摘要】
基于点云的事件驱动信息处理方法
[0001]本专利技术涉及神经形态计算领域，具体涉及数据转换、事件驱动信息处理、特征提取器以及基于点云的脉冲神经网络SpikePoint，能够实现高效、轻量级且低功耗、高精度的动作识别。
技术介绍
[0002]事件相机不同于传统的帧图像传感器(比如APS传感器)，事件相机不以固定的速率捕捉图像，其每个像素独立工作，根据感受到的光线变化，当光线的强弱变化超出某个阈值时，输出ON事件(光强增大)或OFF事件(光强变弱)，具体可以参考现有技术1：EP3731516A1。
[0003]事件相机基于光强的变化产生事件(也称为事件流、脉冲流)，其输出只有正负，而没有强度，对于人工神经网络来说，无法分析事件产生的原因，可能会提供错误的特征信息，影响训练结果。此外，现有方法通常只是简单的将事件数据压缩成图片或体素数据进行处理，这种数据格式转换的过程不仅会消耗大量计算资源，而且还会导致有价值的信息丢失，从而影响了动作识别的准确性和性能。
[0004]与传统帧相机相比，事件相机可以高效地捕捉移动物体的细节，配合先进的动作识别技术将在机器人、自动驾驶汽车和虚拟现实等领域得到了广泛的应用。基于事件相机进行先进的动作识别技术主要包括以下两种关键技术：
[0005]1)event
‑
based脉冲神经网络(SNN)，基于事件相机(或帧图像经过差帧而获得脉冲序列)和脉冲神经网络(SNN)组合的感知与计算方案，可提供一种低功耗(可以低至毫瓦级)、高实时性(可至微秒级)的“感算一体”解决方案，应用于边缘计算、物联网等终端场景，在不联网的情况下实现终端智能。
[0006]然而，该种方法虽然基于事件相机特性减少了计算量、功耗低，提升了速度，但前期算法相对复杂，但是难以达到可与ANN或DNN媲美的精度。此外，脉冲卷积神经网络SCNN进行feature map时，其feature map仍是一个图片的feature map，其事件的坐标信息相当于定位信息如(x,y)，需要基于定位在其附近作卷积，功耗仍有下降空间。
[0007]2)点云处理网络
[0008]基于Point(点)的方法的发展使得将事件数据作为输入成为可能，如PointNet，以及其改进pointnet++，具体可参见现有技术2。
[0009]现有技术2：Qinyi Wang,Yexin Zhang,Junsong Yuan,and Yilong Lu.Space
‑
time event clouds for gesture recognition:From rgb cameras to event cameras.In 2019IEEE Winter Conference on Applications of Computer Vision(WACV),pages 1826
–
1835.IEEE,2019.
[0010]现有的点云处理网络是一种基于深度学习的人工神经网络DNN，点云处理网络通常由卷积层、池化层、上采样层等组成，可以自动学习特征并进行目标识别、跟踪和姿态估计等任务。由于事件相机采集的数据通常是稀疏的事件流数据，一方面需要将其转换为密
集的图片数据，同时需要将事件数据格式压缩成图片或体素数据进行处理，消耗大量计算资源并对性能产生影响。同时，现有的动作识别方法都使用较大的模型进行处理，这对于边缘设备的算力来说是一种巨大的挑战，因为这些设备的计算能力通常是受限的。
[0011]此外，现有基于点云的处理方式无法直接平移至SNN中，由于SNN中的二值化和动态特性，无法实现人工神经网络中频繁的高数据维变换和复杂的特征提取算子，如采样、分组等操作。
[0012]鉴于现有技术中存在的上述问题，需要一种更加高效和轻量级的动作识别方法，能耗低和精度高，能够在边缘设备上实现实时的动作识别。
技术实现思路
[0013]为了解决或缓解上述部分或全部技术问题，本专利技术是通过如下技术方案实现的：
[0014]本专利技术涉及一种数据转换方法，包括如下步骤：
[0015]将初始事件云数据中的时空信息归一化，得到归一化后的点云数据集；
[0016]将所述归一化后点云数据集从全局点云分布映射到局部点云分布；
[0017]利用脉冲编码将局部点云分布中每个点的信息转换为脉冲，得到转换后的脉冲流。
[0018]在某类实施例中，所述点云数据集中的点均指事件点；
[0019]所述将所述点云数据集从全局点云分布映射到局部点云分布包括：
[0020]对点云数据进行采样，获得至少一个关键点，并基于所述关键点选取其周围的同一组点。
[0021]在某类实施例中，所述采样包括如下方式中的一种：I)基于随机采样选择至少一个关键点；II)基于最远点采样方法选择S个关键点；
[0022]分组时，基于如下方式中的一种在所述关键点其周围的同一组点：
[0023]I)基于K邻近方法以识别任意关键点周围的至少一个邻近点；
[0024]II)在任意关键点周围的空间域中画一个球体，在该关键点周围的球体内，均匀选择或者随机选择至少个点，以获得关键点周围的同一组点。
[0025]在某类实施例中，利用滑动窗口，将初始事件云数据或归一化后的点云数据集进行分割；任意滑动窗口内，将该滑动窗口内归一化后的点云数据集从全局点云分布映射到局部点云分布，并利用脉冲编码将该滑动窗口局部点云分布中每个点的信息转换为脉冲，得到转换后的脉冲流。
[0026]在某类实施例中，滑动窗口的大小具有自适应性。
[0027]在某类实施例中，滑动窗口的大小与数据集中指示信息的复杂性成正比，或者滑动窗口的大小与数据集中动作的速度成正比。
[0028]在某类实施例中，任意滑动窗口中仅包括单一动作。
[0029]在某类实施例中，相邻滑动窗口之间重叠或不重叠。
[0030]在某类实施例中，若相邻滑动窗口之间重叠，基于以下因素中的一种设置相邻滑动窗口之间的重叠区域大小：
[0031]I)相邻滑动窗口之间数据的差异性；
[0032]II)滑动窗口数量；
[0033]III)经滑动窗口分割后的整体数据量。
[0034]本专利技术还涉及第一类事件驱动信息处理方法，利用脉冲神经网络进行如下处理：
[0035]使用全局特征提取器提取所述脉冲神经网络输入脉冲流的全局特征，以增加输入脉冲维度；
[0036]基于所述全局特征进行分类；
[0037]其中，全局特征提取器包括至少一对级联的第一类卷积核和残差特征块；
[0038]所述残差特征块包括至少一个第二类卷积核，任意第二类卷积核前后都耦接有脉冲神经元，所述残差特征块为几下几种残差连接方式之一：
[0039]I)起始脉冲神经元的输出与末尾脉冲神经元的输出残差连接；
[0040]II)起始脉冲神经元的输出与末尾脉冲神经元的本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据转换方法，其特征在于，包括如下步骤：将初始事件云数据中的时空信息归一化，得到归一化后的点云数据集；将所述归一化后点云数据集从全局点云分布映射到局部点云分布；利用脉冲编码将局部点云分布中每个点的信息转换为脉冲，得到转换后的脉冲流。2.根据权利要求1所述的数据转换方法，其特征在于：所述点云数据集中的点均指事件点；所述将所述点云数据集从全局点云分布映射到局部点云分布包括：对点云数据进行采样，获得至少一个关键点，并基于所述关键点选取其周围的同一组点。3.根据权利要求2所述的数据转换方法，其特征在于，所述采样包括如下方式中的一种：I)基于随机采样选择至少一个关键点；II)基于最远点采样方法选择S个关键点；基于如下方式中的一种在所述关键点其周围的同一组点：I)基于K邻近方法以识别任意关键点周围的至少一个邻近点；II)在任意关键点周围的空间域中画一个球体，在该关键点周围的球体内，均匀选择或者随机选择至少个点，以获得关键点周围的同一组点。4.根据权利要求1至3任一项所述的数据转换方法，其特征在于：利用滑动窗口，将初始事件云数据或归一化后的点云数据集进行分割；任意滑动窗口内，将该滑动窗口内归一化后的点云数据集从全局点云分布映射到局部点云分布，并利用脉冲编码将该滑动窗口局部点云分布中每个点的信息转换为脉冲，得到转换后的脉冲流。5.一种事件驱动信息处理方法，其特征在于，利用脉冲神经网络进行如下处理：使用全局特征提取器提取所述脉冲神经网络输入脉冲流的全局特征，以增加输入脉冲维度；基于所述全局特征进行分类；其中，全局特征提取器包括至少一对级联的第一类卷积核和残差特征块；所述残差特征块包括至少一个第二类卷积核，任意第二类卷积核前后都耦接有脉冲神经元，所述残差特征块为几下几种残差连接方式之一：I)起始脉冲神经元的输出与末尾脉冲神经元的输出残差连接；II)起始脉冲神经元的输出与末尾脉冲神经元的输入残差连接；III)起始脉冲神经元的输出与末尾脉冲神经元的输入或输出不进行残差连接。6.根据权利要求5所述的事件驱动信息处理方法，其特征在于：所述第一类卷积核为升维卷积核，所述第一类卷积核数量与残差特征块数量相等或多一个。7.根据权利要求5所述的事件驱动信息处理方法，其特征在于：任意残差模块的输入端分别与一个第一类卷积核的输出端耦接；所述第二类卷积核包括至少一个用于升维的卷积核以及至少一个用于降维的卷积核，所述残差特征块输出维数与输入维数相同。
8.一种事件驱动信息处理装置，其特征在于，包括：局部特征提取器，其输入端用于接收输入脉冲神经网络的多个脉冲序列，用于提取局部特征；合并模块，其输入与局部特征提取器的输出耦接，用于对局部特征提取器提取的特征进行合并；全局特征提取器，其输入与所述合并模块的输出耦接，用于提取全局特征；分类模块，基于提取的全局特征进行分类...
【专利技术属性】
技术研发人员：程伯骏，任宏伟，周悦，
申请(专利权)人：香港科技大学广州，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。