一种基于掩码R-CNN的视频行为动作识别方法及系统技术方案

本申请提供了一种基于掩码R

【技术实现步骤摘要】
一种基于掩码R
‑
CNN的视频行为动作识别方法及系统


[0001]本申请涉及视频处理
，特别是涉及一种基于掩码R
‑
CNN的视频行为动作识别方法及系统。

技术介绍

[0002]近几年，随着计算机视觉和机器学习的飞速发展，视频类软件与日俱增，网络速度的提升等因素，造成了大量的视频在网上传播并且呈指数级增加。这些视频信息种类繁多，数量巨大，远远超出了人类手工处理的能力。因此，专利技术适合于视频推荐、人类行为分析、视频监控等多种应用的视频中的动作识别方法是十分必要的。
[0003]在视频行为动作识别中，动作识别是基于完整的动作执行来推断人类动作的当前状态。目前引入的一种Action Tubelet检测器，它产生一系列带有分数的包围盒，其中他们使用SSD检测器提取一组锚长方体，除此之外，还提出了一个时间段网络，专注于基于注意力的建模，已发现突出部分，同时捕获长期相关性。
[0004]但是，目前的方法的缺点是每个帧/片段只能包含完整视频信息中的一小部分，和单纯的方法相比，对单个框架进行分类的网络表本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于掩码R
‑
CNN的视频行为动作识别方法，包括：获取待识别视频流，提取所述待识别视频流中的至少一图像帧；利用掩码R
‑
CNN模型检测所述图像帧中目标对象的各关节关键点，并提取各所述图像帧中对应各所述关节关键点的热图；将各所述关键点对应的热图进行叠加，得到所述目标对象对应的至少一组组合热图；将所述组合热图输入DYAN编码解码器中，捕获各所述关节关键点的关节动态信息；基于各所述关节关键点的关节动态信息，识别所述目标对象的动作信息。2.根据权利要求1所述的方法，其特征在于，所述将各所述关键点对应的热图进行叠加，得到所述目标对象对应的至少一组组合热图，包括：获取目标对象的关键节点的节点数量，生成与所述节点数量匹配的关节通道，在各所述关节通道中输入对应的热图；创建一背景通道；所述关节通道和所述背景通道进行重叠组合，生成所述目标对象对应的至少一组合热图。3.根据权利要求1所述的方法，其特征在于，所述DYAN编码解码器包含经过训练的预设大小的结构化字典；所述将所述组合热图输入DYAN编码解码器中，捕获各所述关节关键点的关节动态信息，包括：将所述组合热图输入DYAN编码解码器，通过所述DYAN编码解码器对所述组合热图进行编码，并在所述结构化字典中选择并衡量与所述组合热图对应的动态元素，求解并输出动态向量；基于所述动态向量捕获各所述关节关键点的关节动态信息。4.一种基于掩码R
‑
CNN的视频行为动作识别系统，包括：图像帧提取模块，其配置成获取待识别视频流，提取所述待识别视频流中的至少一图像帧；热图提取模块，其配置成利用掩码R
‑
CNN模型检测所述图像帧中目标对象的各关节关键点，并提取各所述图像帧中对...

【专利技术属性】
技术研发人员：樊硕，
申请(专利权)人：上海影谱科技有限公司，
类型：发明
国别省市：