本发明专利技术涉及事件相机技术领域，具体涉及一种事件识别方法包括：获取待识别事件流；预处理得到所述待识别事件流对应的事件帧，预处理得到所述待识别事件流对应的图数据；构建双模态融合网络初始模型；提取事件帧的时空特征，及图数据的全局表征，并将所述时空特征和全局表征进行拼接融合，以使所述双模态融合网络初始模型学习双模态的统一特征，以获取训练完成的双模态融合网络模型；利用双模态融合网络模型进行事件识别。本发明专利技术通过构建双模态融合网络，能够更好的挖掘双模态的有效的原始信息，学习双模态数据的统一特征，通过将事件流转化为事件帧和图数据，有效的保留了原始信息，通过将时空特征和全局表征拼接融合来提高事件识别的性能。识别的性能。识别的性能。
【技术实现步骤摘要】
一种事件识别方法、系统、设备及介质
[0001]本专利技术属于事件相机
，具体是涉及一种事件识别方法、系统、设备及介质。
技术介绍
[0002]近年来，事件摄像机作为一种生物传感器越来越受到研究者的关注。与以同步方式将场景记录到视频帧中的RGB相机不同，事件相机中的每个像素在强度变化超过给定阈值时通过保存事件点异步触发。由于上述独特的成像原理，事件摄像机显示出高动态范围、低能耗、高时间分辨率的优点，然而，事件相机异步产生事件和噪声，现有的深度学习框架很难直接处理这种非结构化数据，于是寻求一种能很好处理事件数据并且尽可能保留它的原始信息显得尤为重要。
[0003]一些主流算法选择将其堆叠成2D帧的表示，虽然预处理后能应用到主流的CNN等框架，但是这种堆叠的方式丢失了原始事件流在时序上稠密的特征，缺少对原始低阶信息的保留。另外一种转化方式是将事件数据视为图或点云，保持时间数据的稀疏性，但事件数据规模较大，可能会引入太多冗余信息，并且大多数通过构图来实现分类的算法大多通过全局池化来获得最终的全局表示。
技术实现思路
[0004]鉴于以上所述现有技术的缺点，本专利技术通过构建双模态融合网络，能够更好的挖掘双模态的有效的原始信息，学习双模态数据的统一特征，通过将事件流转化为事件帧和图数据，有效的保留了原始信息，通过将时空特征和全局表征拼接融合来提高事件识别的性能并且不会引入太多冗余信息。
[0005]为实现上述目的及其他相关目的，本专利技术一种事件识别方法包括：获取待识别事件流；通过在时序维度上堆叠事件对所述待识别事件流预处理得到所述待识别事件流对应的事件帧，并通过构建体素网格并构图对所述待识别事件流预处理得到所述待识别事件流对应的图数据；构建双模态融合网络初始模型，双模态融合网络初始模型包括事件帧特征提取模型和图特征提取模型；分别利用所述事件帧特征提取模型、所述图特征提取模型来提取事件帧的时空特征，及图数据的全局表征，并将所述时空特征和全局表征进行拼接融合，以使所述双模态融合网络初始模型学习双模态的统一特征，以获取训练完成的双模态融合网络模型；利用双模态融合网络模型进行事件识别。
[0006]在本专利技术的一可选实施例中，所述通过在时序维度上堆叠事件对所述待识别事件流预处理得到所述待识别事件流对应的事件帧，并通过构建体素网格并构图对所述待识别事件流预处理得到所述待识别事件流对应的图数据的步骤包括：将所述待识别事件流通过构建体素网格进行下采样和构图以得到所述待识别事件流对应的图数据。
[0007]在本专利技术的一可选实施例中，所述分别利用所述事件帧特征提取模型、所述图特征提取模型来提取事件帧的时空特征，及图数据的全局表征，并将所述时空特征和全局表
征进行拼接融合，以使所述双模态融合网络初始模型学习双模态的统一特征，以获取训练完成的双模态融合网络模型的步骤包括：将每个所述事件帧按照空间大小分为均等的patch块；将所述patch块按帧进行拼接以得到所述事件帧的离散token；将所述离散token输入所述事件帧特征提取模型来提取事件帧的时空特征。
[0008]在本专利技术的一可选实施例中，所述将所述离散token输入ST
‑
Transformer模块并利用事件帧特征提取模型提取事件帧的时空特征的步骤中，提取时空特征通过下式实现：
[0009]Y
out
＝X0+MSA(LN(X0))
[0010]X1＝Y
out
+MLP(LN(Y
out
))
[0011]其中，X0代表当前ST
‑
Transformer的输入，X1代表当前ST
‑
Transformer的输出，LN(
·
)表示层归一化，MLP表示多层感知器，MSA表示多头自注意力机制。
[0012]在本专利技术的一可选实施例中，所述分别利用所述事件帧特征提取模型、所述图特征提取模型来提取事件帧的时空特征，及图数据的全局表征，并将所述时空特征和全局表征进行拼接融合，以使所述双模态融合网络初始模型学习双模态的统一特征，以获取训练完成的双模态融合网络模型的步骤还包括：基于空域图卷积将所述图数据对应的各个节点特征进行特征聚合，得到图数据的高级语义表征；将所述图数据的高级语义表征输入所述图特征提取模型来提取所述图数据的全局表征。
[0013]在本专利技术的一可选实施例中，所述基于空域图卷积将所述图数据对应的各个节点特征进行特征聚合，得到体素图数据的步骤中，特征聚合公式为下式：
[0014][0015]其中，σ(.)表示激活函数，f(.)表示特征向量，表示可学习的核函数，v表示的邻居节点集合。
[0016]在本专利技术的一可选实施例中，所述分别利用所述事件帧特征提取模型、所述图特征提取模型来提取事件帧的时空特征，及图数据的全局表征，并将所述时空特征和全局表征进行拼接融合，以使所述双模态融合网络初始模型学习双模态的统一特征，以获取训练完成的双模态融合网络模型的步骤还包括：将所述时空特征和全局表征进行拼接融合得到所述双模态的统一特征；所述双模态融合网络初始模型学习所述统一特征以得到训练完成的双模态融合网络模型。
[0017]为实现上述目的及其他相关目的，本专利技术还提供一种事件识别系统包括：获取模块，获取待识别事件流，作为原始数据；预处理模块，通过在时序维度上堆叠事件对所述待识别事件流预处理得到所述待识别事件流对应的事件帧，并通过构建体素网格并构图对所述待识别事件流预处理得到所述待识别事件流对应的图数据；构建模块，构建双模态融合网络初始模型，双模态融合网络初始模型包括事件帧特征提取模型和图特征提取模型；融合模块，分别利用所述事件帧特征提取模型、所述图特征提取模型来提取事件帧的时空特征，及图数据的全局表征，并将所述时空特征和全局表征进行拼接融合，以使所述双模态融合网络初始模型学习双模态的统一特征，以获取训练完成的双模态融合网络模型；识别模块，利用双模态融合网络模型进行事件识别。
[0018]本专利技术的技术效果在于提供了一种事件识别方法，本专利技术通过构建双模态融合网络，能够更好的挖掘双模态的有效信息，学习双模态数据的统一特征，通过将事件流转化为
事件帧和图数据，有效的保留了有效信息，还采用ST
‑
Transformer模块处理事件帧，能够更好的表示视频的时空特征，利用图神经网络处理图数据，能够更好的表示视频的全局表征，并将时空特征和全局表征拼接融合来提高事件识别的性能。
附图说明
[0019]图1为本专利技术提出的一种事件识别方法的应用场景图；
[0020]图2为本专利技术提出的一种事件识别方法的流程图；
[0021]图3为本专利技术提出的提取事件帧的时空特征的具体流程图；
[0022]图4为本专利技术提出的提取图数据的全局表征的流程图；
[0023]图5为本专利技术提出的得到训练完成的双模态融合网络模型的具体流程图；
[0024]图6为本专利技术提出的一种本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种事件识别方法，其特征在于，包括：获取待识别事件流；通过在时序维度上堆叠事件对所述待识别事件流预处理得到所述待识别事件流对应的事件帧，并通过构建体素网格并构图对所述待识别事件流预处理得到所述待识别事件流对应的图数据；构建双模态融合网络初始模型，双模态融合网络初始模型包括事件帧特征提取模型和图特征提取模型；分别利用所述事件帧特征提取模型、所述图特征提取模型来提取事件帧的时空特征，及图数据的全局表征，并将所述时空特征和全局表征进行拼接融合，以使所述双模态融合网络初始模型学习双模态的统一特征，以获取训练完成的双模态融合网络模型；利用双模态融合网络模型进行事件识别。2.根据权利要求1所述的事件识别方法，其特征在于，所述通过在时序维度上堆叠事件对所述待识别事件流预处理得到所述待识别事件流对应的事件帧，并通过构建体素网格并构图对所述待识别事件流预处理得到所述待识别事件流对应的图数据的步骤包括：将所述待识别事件流通过构建体素网格进行下采样和构图以得到所述待识别事件流对应的图数据。3.根据权利要求1所述的事件识别方法，其特征在于，所述分别利用所述事件帧特征提取模型、所述图特征提取模型来提取事件帧的时空特征，及图数据的全局表征，并将所述时空特征和全局表征进行拼接融合，以使所述双模态融合网络初始模型学习双模态的统一特征，以获取训练完成的双模态融合网络模型的步骤包括：将每个所述事件帧按照空间大小分为均等的patch块；将所述patch块按帧进行拼接以得到所述事件帧的离散token；将所述离散token输入所述事件帧特征提取模型来提取事件帧的时空特征。4.根据权利要求3所述的事件识别方法，其特征在于，所述将所述离散token输入ST
‑
Transformer模块并利用事件帧特征提取模型提取事件帧的时空特征的步骤中，提取时空特征通过下式实现：Y
out
＝X0+MSA(LN(X0))X1＝Y
out
+MLP(LN(Y
out
))其中，X0代表当前ST
‑
Transformer的输入，X1代表当前ST
‑
Transformer的输出，LN(
·
)表示层归一化，MLP表示多层感知器，MSA表示多头自注意力机制。5.根据权利要求1所述的事件识别方法，其特征在于，所述分别利用所述事件帧特征提取模型、所...
【专利技术属性】
技术研发人员：王逍，袁程果，江波，
申请(专利权)人：安徽大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。