一种基于空间-立体融合的事件流区分识别方法技术

本发明专利技术公开了一种基于空间‑立体融合的事件流区分识别方法，属于事件相机技术领域，事件流利用双流框架对事件进行表示，将每个图像特征和事件体素特征分别分为三个级别，通过交换模块对双模态特征的数据进行数据交换处理，混合中等质量特征、交换低质量特征；将双模态特征与瓶颈特征一起输入融合Transformer模块；之后采用基于GRU的读出层进行增强；最后输出分类结果。本发明专利技术增强了模型的特征表达能力；引入交换模块避免了因直接融合特征得到次优解的问题；引入瓶颈机制和融合Transformer模块，使得模型有效地降低了计算复杂性和模型的复杂性，同时降低过拟合的风险；采用基于GRU的读出层，使得模型能够全面探索和利用特征之间的相关性。

【技术实现步骤摘要】

本专利技术涉及事件相机，具体涉及一种基于空间-立体融合的事件流区分识别方法。

技术介绍

1、基于事件相机数据的视觉跟踪是目前研究的热门领域，事件相机以其低功耗、低延迟和高动态范围等优点在应用场景上具有广泛的潜力。

2、为了在具有挑战性的场景中改善目标识别，一些研究人员开始利用其他传感器获取更有效的信号输入，从而提高识别性能。其中，最具代表性的传感器之一是事件相机，也称dvs(动态视觉传感器)，在计算机视觉中得到了广泛应用。

3、目前，存在两种主要的事件数据表示形式：

4、第一种是将事件数据视为图或点云，保持时间数据的稀疏性。然而，由于事件数据规模较大，这种表示形式可能会引入大量的冗余信息。

5、第二种是将事件流表示为事件帧的形式，通过按照一定时间间隔将事件投射到二维平面上。这种表示形式保留了事件流的空间属性，但却牺牲了事件流固有的时序属性。

6、目前，有研究人员使用事件相机进行目标识别的方法研究，包括卷积神经网络(cnn)、图神经网络(gnn)和transformer等。尽管这些方法通过不同的方式本文档来自技高网...

【技术保护点】

1.一种基于空间-立体融合的事件流区分识别方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于空间-立体融合的事件流区分识别方法，其特征在于，所述步骤S11，具体包括以下步骤：

3.根据权利要求2所述的基于空间-立体融合的事件流区分识别方法，其特征在于，所述步骤S12，具体包括以下步骤：

4.根据权利要求3所述的基于空间-立体融合的事件流区分识别方法，其特征在于，步骤S1中，所述事件流还包括预处理过程，即划分事件流数据过程，具体步骤包括：源数据流大小为T×X×Y×P；

5.根据权利要求4所述的基于空间-立体融合的事件流区分识别方法...

【技术特征摘要】

1.一种基于空间-立体融合的事件流区分识别方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于空间-立体融合的事件流区分识别方法，其特征在于，所述步骤s11，具体包括以下步骤：

3.根据权利要求2所述的基于空间-立体融合的事件流区分识别方法，其特征在于，所述步骤s12，具体包括以下步骤：

4.根据权利要求3所述的基于空间-立体融合的事件流区分识别方法，其特征在于，步骤s1中，所述事件流还包括预处理过程，即划分事件流数据过程，具体步骤包括：源数据流大小为t×x×y×p；

5.根据权利要求4所述的基于空间-立体融合的事件流区分识别方法，其特征在于，所述通过交换模块对双模态特征的数据进...

【专利技术属性】
技术研发人员：王逍，李冬，江波，
申请(专利权)人：安徽大学，
类型：发明
国别省市：