基于拆解掩码建模的事件数据自监督学习系统及方法技术方案

本发明专利技术公开了一种基于拆解掩码建模的事件数据自监督学习系统及方法，至少包括语义均匀掩码模块、局部重建模块和全局语义重建模块，语义均匀掩码模块将事件体素划分为具有不同局部语义的多个部分，对每部分应用相同的掩码比例；局部重建模块使用可见的体素局部特征完成局部特征的重建；全局语义重建模块通过在高级语义特征上直接进行掩码和重建，再在各个局部表达中进行随机掩码并使用未被掩码的局部语义重建其它被掩码的局部语义特征，促使编码器学习全局语义及局部之间的关系；局部重建模块和全局语义重建模块协同工作，使编码器在不依赖下游任务标签下实现全局和局部特征的学习，保留事件相机的高速时间信息，提高模型对事件数据的泛化能力。

【技术实现步骤摘要】

本专利技术属于计算机视觉领域，涉及事件相机技术和自监督学习方法的结合应用,公开了一种基于拆解掩码建模的事件数据自监督学习系统及方法。

技术介绍

1、近年来，事件相机作为一种仿生传感器，在计算机视觉领域引起了广泛关注。该相机通过异步报告单个像素亮度变化超过预定阈值时的事件点，具有记录稀疏照明变化、高时间分辨率和动态范围的能力。相对于传统相机，事件相机具有低延迟、高动态范围和低功耗等优点。因此，事件相机在图像去噪、语义分割、高帧率视频重建、hdr等领域得到了广泛应用。

2、然而，事件相机领域面临标注数据稀缺等挑战，限制了模型的潜力。为了解决这一问题，研究者们探索了自监督学习方法，如将事件序列转换为2d图像，但现有方法，牺牲了事件相机在捕捉高速时间信息和利用数据稀疏性方面的核心优势。

3、事件数据的自监督学习方法是为了应对标注数据不足的问题。现有方法主要是将事件数据转换成2d图像，以适应传统自监督学习框架，但这种做法削弱了事件相机在捕捉高速时间信息和充分利用数据稀疏性方面的优势。目前主要的自监督方法包括将事件数据转换成图像后应用传统图像领本文档来自技高网...

【技术保护点】

1.基于拆解掩码建模的事件数据自监督学习系统，其特征在于：至少包括语义均匀掩码模块、局部重建模块和全局语义重建模块，

2.如权利要求1所述的基于拆解掩码建模的事件数据自监督学习系统，其特征在于：所述局部重建模块中输入的特征大小为2048*5*5，输出的特征大小为2048*5*5；所述全局语义重建模块中输入的特征大小为2048*5*5，输出的特征大小为16*768。

3.使用如权利要求1所述系统的基于拆解掩码建模的事件数据自监督学习方法，其特征在于，包括如下步骤：

4.如权利要求3所述的基于拆解掩码建模的事件数据自监督学习方法，其特征在于：所述步骤S2中...

【技术特征摘要】

1.基于拆解掩码建模的事件数据自监督学习系统，其特征在于：至少包括语义均匀掩码模块、局部重建模块和全局语义重建模块，

2.如权利要求1所述的基于拆解掩码建模的事件数据自监督学习系统，其特征在于：所述局部重建模块中输入的特征大小为2048*5*5，输出的特征大小为2048*5*5；所述全局语义重建模块中输入的特征大小为2048*5*5，输出的特征大小为16*768。

3.使用如权利要求1所述系统的基于拆解掩码建模的事件数据自监督学习方法，其特征在于，包括如下步骤：

4.如权利要求3所述的基于拆解掩码建模的...

【专利技术属性】
技术研发人员：陈浩，黄振鹏，
申请(专利权)人：东南大学，
类型：发明
国别省市：