一种基于骨骼数据的视频群体暴力行为识别方法及系统技术方案

本发明专利技术公开了一种基于骨骼数据的视频群体暴力行为识别方法及系统，涉及行为识别技术领域。该方法及系统基于从待识别视频内容中获取的骨骼数据，构建并训练一个深度学习模型，对视频进行特征提取和内容理解，识别个体与个体之间交互行为的分解动作，根据分解动作识别结果的时序关系，判断行为是否属于暴力。克服了现有方法无法很好应用骨骼数据，忽略时序信息和个体间交互信息的缺点，且将群体行为转化为双人交互行为，减少了数据计算量，对行为类别的判断更加容易。别的判断更加容易。别的判断更加容易。

【技术实现步骤摘要】
一种基于骨骼数据的视频群体暴力行为识别方法及系统


[0001]本专利技术涉及行为识别
，具体涉及一种基于骨骼数据的视频群体暴力行为识别方法及系统。

技术介绍

[0002]随着社会的发展，人们的生活水平不断提高，公共安全成为幸福指标的重要组成部分。有研究表明，摄像头对暴力事件的预防和控制作用难以令人满意。原因之一是缺少有效的监控视频分析手段，视频信息利用率低；另一个原因是暴力事件属于小概率事件，人工分析视频信息成本耗费巨大。除了公共安全领域，群体暴力行为识别技术在互联网新媒体领域也有很大的应用价值。随着互联网的普及，特别是自媒体与短视频领域的兴起，网络信息成为人们信息来源的重要部分。但是由于互联网缺少监管，自媒体发布信息门槛低等原因，包括暴力视频在内的一些不良信息往往不经审查就出现在网上，严重危害人们，尤其是未成年人的身心发展。
[0003]出于以上原因，群体暴力行为识别技术受到越来越多的关注。但是，现有的一类群体暴力行为识别方法主要是基于2d
‑
CNN感知视频帧或者用3d
‑
CNN感知视频内容，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于骨骼数据的视频群体暴力行为识别方法，其特征在于，所述方法包括如下步骤：步骤1：对原始视频流进行抽样，获得视频帧样本；步骤2：从视频帧样本中提取原始骨骼数据，获得骨骼数据样本；步骤3：分别提取每一帧骨骼数据样本的关键特征，并根据关键特征确定每一帧中的两组关键子数据，其中每一组子数据均包括两个人物个体的数据；步骤4：以预设的数据长度f帧为单位对步骤3处理后的骨骼数据样本整体进行滑窗式切分或者填充，切分成若干个等长度的单位数据或者补充为与预设的数据长度相等的单位数据；步骤5：使用若干层神经网络逐单位数据进行处理，提取包含在每一单位数据中的骨骼数据样本的时空特征，并依据所述时空特征自动计算出各单位数据的分类评分；步骤6：依据分类评分对每一单位数据进行二分类，判断其是否属于群体暴力行为，最后输出整个骨骼数据样本对应的各个窗口数据的识别结果。2.根据权利要求1所述的基于骨骼数据的视频群体暴力行为识别方法，其特征在于，使用人体姿态识别开源库从视频帧样本中提取原始骨骼数据。3.根据权利要求1所述的基于骨骼数据的视频群体暴力行为识别方法，其特征在于，所述步骤3包括如下步骤：步骤3.1：求解出每一帧骨骼数据样本中每个人物个体的重心；步骤3.2：根据各人物个体的重心找出每一帧骨骼数据样本的中心点及与所述中心点所属的中心人物个体；步骤3.3：根据每一帧骨骼数据样本中各人物个体的重心以及中心点计算出离中心人物个体最近的另外两个人物个体；步骤3.4：将离中心人物个体最近的另外两个人物个体分别与中心人物个体的数据进行组合并进行归一化处理，获得每一帧的两组关键子数据；步骤3.5：将所述两组关键子数据合并到一起，拼接所述两组关键子数据。4.根据权利要求3所述的基于骨骼数据的视频群体暴力行为识别方法，其特征在于，所述每一帧骨骼数据样本中每个人物个体的重心求解方法为：将每个人物个体的各个关节坐标位置的加权平均值作为每个人物个体的重心，其中人物的双手关节和双脚关节的权重大于其他关节的权重。5.根据权利要求3所述的基于骨骼数据的视频群体暴力行为识别方法，其特征在于，所述根据各人物个体的重心找出每一帧骨骼数据样本的中心点的方法为：使用k
‑
means聚类算法找出每一帧骨骼数据中所有人物个体的重心的聚类中心作为该帧的中心点，其中在k
‑
means聚类算法中设聚类中心个数K＝1。6.根据权利要求1所述的基于骨骼数据的视频群体暴力行为识别方法，其特征在于，所述步骤5包括如下步骤：步骤5.1：使用双人图卷积网络融合包含了两个人物个体的骨骼数据的节点特征和拓扑结构，获得数据的空间特征图；所述双人图卷积网络由三个图卷积层顺序堆叠构成，前一图卷积层的输出数据为后一图卷积层的输入数据，最后一个图卷积层的输出特征就是双人图卷积网络计算出的空间特
征图；所述双人图卷积网络的输入信息为每一帧骨骼数据样本中每组关键子数据中的两个人物个体的骨骼数据的节点特征和拓扑结构；所述骨骼数据的节点特征为骨骼数据中各个关节的坐标；所述骨骼数据的拓扑结构为每组关键子数据中两个人物个体的骨骼数据的各个关节的连接结构；获得所述骨骼数据的拓扑结构的方法为：首先对于每组关键子数据中的每个个体，按照人体骨骼结构连接该个体的各个关节；然后将第一个人物个体的双手关节和双脚关节都分别与第二个人物个体的所有关节相连接，同样地，将第二个人物个体的双手关节和双脚关节也都分别与第一个人物个体的所有关节相连接，获得双人骨骼图；再然后计算出双人骨骼图的对称化拉普拉斯算子，该拉普拉斯算子就是所述骨骼数据的拓扑结构；步骤5.2：使用最大池化层对双人图卷积网络输出的空间特征图进行数据压缩；步骤5.3：使用LSTM网络提取数据压缩处理后的空间特征图的时序信息，获得时空特征图；步骤5.4：将通过LSTM网络获得的时空特征图沿一维展开获得特征向量；步骤5.5：使用两个线性层和一个激活层按照如下公式对步骤5.4获得的特征向量进行处理，获得仅包含类别信息的类别特征向量；H
(1)
＝σ(H
(0)
W
(0)
+b
(0)
)，H
(2)
＝H
(1)
W

【专利技术属性】
技术研发人员：丁畅，谭振华，张斌，武志超，
申请(专利权)人：东北大学，
类型：发明
国别省市：