【技术实现步骤摘要】
本专利技术涉及一种基于轻量级时空联合网络的视频动作检测方法，属于视频行为识别。
技术介绍
1、时空动作检测在安防监控、驾驶员或乘客行为识别、短视频审核等具有广泛的应用前景。时空动作检测相较于普通的视觉目标检测，除了对动作主体的检测以外，还在于对动作主体的行为分析，这需要时序上信息的帮助才能理解目标主体的具体行为，如开门关门动作，仅凭借单帧画面信息无法帮助我们完成对行为主体的行为分类，因此这还需要我们对时序特征进行提取，然而一旦引入了时序特征提取网络，模型往往变得臃肿不堪，造成难以部署和直接使用。
2、chen s等人提出了一个名为“watch once only(woo)”的端到端视频动作检测框架，采用一个统一的视频骨干来同时提取动作的位置和动作分类的特征(chen s,sun p,xie e,et al.watch only once:an end-to-end video action detection framework[c].proceedings of the ieee/cvf international con...
【技术保护点】
1.一种视频动作检测方法，其特征在于，所述视频动作检测方法包括：构建轻量级的时空动作检测深度神经网络，具体按照以下步骤实施：
2.根据权利要求1所述的视频动作检测方法，其特征在于，所述时空特征提取网络使用3D-ShuffleNetV2网络，构建方法包括：将轻量级网络ShuffleNetV2通过扩展膨胀的方式到三维，将2D卷积转化为3D卷积，将2D池化转化为3D池化；同时为了避免部分设备存在不支持3D卷积操作的风险，使用仅含有2D卷积的时空平移模块TSM作为时空特征提取模块的骨干分支。
3.根据权利要求1所述的视频动作检测方法，其特征在于，所述步
<...【技术特征摘要】
1.一种视频动作检测方法，其特征在于，所述视频动作检测方法包括：构建轻量级的时空动作检测深度神经网络，具体按照以下步骤实施：
2.根据权利要求1所述的视频动作检测方法，其特征在于，所述时空特征提取网络使用3d-shufflenetv2网络，构建方法包括：将轻量级网络shufflenetv2通过扩展膨胀的方式到三维，将2d卷积转化为3d卷积，将2d池化转化为3d池化；同时为了避免部分设备存在不支持3d卷积操作的风险，使用仅含有2d卷积的时空平移模块tsm作为时空特征提取模块的骨干分支。
3.根据权利要求1所述的视频动作检测方法，其特征在于，所述步骤5包括：
4.根据权利要求3所述的视频动作检测方法，其特征在于，所述步骤5.1中的两个标准的3x3卷积为cbr模块。
5.根据权利要求3所述的视频动作检测方法，其特征在于，所述步骤5.2的自注意力机制计算中，通过对窗...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。