一种基于双模态相机驱动的人体动作检测方法技术

本发明专利技术公开了一种基于双模态相机驱动的人体动作检测方法，属于计算机视觉领域，具体是：首先，分别采用事件相机和普通相机，采集相同时间窗口对应的事件序列和普通视频；针对单个时间窗口内，将事件序列转换堆叠成普通相机对应的同步图片帧；对于同一个时间窗口内视频模态和事件模态对应的同步图片，通过深度神经网络提取各自的初级特征；然后，通过自适应特征学习模块进行空间的对齐增强；使用实例检测器在从普通相机捕获的图片帧中识别并定位感兴趣的实例，生成检测框从而确定每个实例在图片中的位置和范围。最后，将各实例通过多阶段的密集串行结构进行交互建模，并通过融合不同时间窗口的上下文信息来增强记忆特征的生成，最终得到用于分类的动作特征。本发明专利技术提高了现有的人体动作识别与定位在各种复杂场景下的鲁邦性和准确率。

【技术实现步骤摘要】

本专利技术涉及计算机视觉领域，具体是一种基于双模态相机驱动的人体动作检测方法。

技术介绍

1、人体行为识别是计算机视觉领域的一个研究热点，它旨在从给定的图像、视频或传感器数据中自动识别和理解人体的动作和行为。

2、事件相机是一种新型的图像采集设备，以事件驱动的方式工作，基于事件相机的人体行为识别技术相较于传统相机技术在动态范围、延迟和帧率等方面具有明显的优势，能够提供更准确、更细致的人体行为分析和识别结果，但它通常无法提供与传统图像相机相同的外观信息，因此将事件数据与传统图像数据融合可以更全面地理解场景和行为。

3、现有技术中，追求多模态的人体动作识别文献如：[1]faure等人提出了一种基于rgb图像流和骨骼姿态流的多模态动作检测网络，通过结合rgb图像流和骨骼姿态流来捕获人-环境交互信息，试图利用骨骼流和视频流的双模态框架实现高效的动作识别，从而提升动作检测的精准度；该方法利用了多种特征信息，超越了单一模态的动作检测能力。

4、[2]提出了稀疏-密集互补学习(sdcl)框架，充分利用密集帧和稀疏事件的互补信息，有效地本文档来自技高网...

【技术保护点】

1.一种基于双模态相机驱动的人体动作检测方法，其特征在于，具体步骤如下：

2.如权利要求1所述的一种基于双模态相机驱动的人体动作检测方法，其特征在于，所述步骤二具体为：

3.如权利要求1所述的一种基于双模态相机驱动的人体动作检测方法，其特征在于，所述步骤三中，深度神经网络选用SlowFast-resnet-50；基于主干-头结构的深度学习网络，通过主干网络从视频和事件模态中提取深层特征。

4.如权利要求1所述的一种基于双模态相机驱动的人体动作检测方法，其特征在于，所述步骤五中，利用所述检测框，将空间对齐增强后的初级特征进行最大池化操作；

5...

【技术特征摘要】

1.一种基于双模态相机驱动的人体动作检测方法，其特征在于，具体步骤如下：

2.如权利要求1所述的一种基于双模态相机驱动的人体动作检测方法，其特征在于，所述步骤二具体为：

3.如权利要求1所述的一种基于双模态相机驱动的人体动作检测方法，其特征在于，所述步骤三中，深度神经网络选用slowfast-resnet-50；基于主干-头结构的深度学习网络，通过主干网络从视频和事件模态中提取深层特征。

4.如权利要求1所述的一种基于双模态相机驱动的人体动作检测方法，其特征...

【专利技术属性】
技术研发人员：孙丹丹，白江涛，高建龙，冒明宇，刘俊江，王思齐，周铭锐，李洪达，范馨月，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：