一种打架斗殴行为识别方法及电子设备技术

本发明专利技术公开了一种打架斗殴行为识别方法及电子设备，本发明专利技术将视频保存9帧，16帧，25帧三种时间块，且编码为短时动作序列，分别识别不同的短时动作，引入时间维度的多头自注意力机制，加强对重要短时动作的识别并结合多种短时动作的信息对打架斗殴进行识别。本发明专利技术无需提取出画面中人体的骨骼数据或者光流数据，就能实时检测打架斗殴行为，具有低延迟、识别速度快的特征，同时充分利用了不同的短时动作的信息，且对不同短时动作进行了有重点的融合，更为准确。更为准确。更为准确。

【技术实现步骤摘要】
一种打架斗殴行为识别方法及电子设备


[0001]本专利技术涉及图像识别领域，特别是涉及一种打架斗殴行为识别方法及电子设备。

技术介绍

[0002]本专利技术的技术背景：为了保障安全、维护秩序，很多公共场所都安装了摄像头来检测异常行为，其中打架斗殴是一种影响非常恶劣，且十分危险的异常行为。实时识别出打架斗殴事件，能够协助工作人员在第一时间赶到事发现场进行劝阻，防止事态进一步恶化。
[0003]因此为了快速识别出打架斗殴行为，专利技术专利申请CN2019107782869提供了一种打架斗殴行为的识别方法,包括以下步骤：步骤A：通过监控视频获取数据,使用隔帧法提取视频数据,通过模型识别出视频内的目标人物,以及目标人物的肢体骨骼数据；步骤B：判断检测的目标人物的数量；步骤C：计算当前帧数据的目标人物数据对于上一帧数据的每一个目标人物数据的交叠率；步骤D：计算出目标人物的运动速度；步骤E：对目标人物状态的判断,计算目标人物肢体摆动幅度；步骤F：根据步骤A、步骤B、步骤C、步骤D和步骤E的结果判断打架斗殴行为。
[0004]专利技术专利申请CN2019112440787公开了一种基于视频的打架斗殴检测方法,基于目标检测方法对视频中的人体目标进行有效检测,而后利用骨架提取算法提取人体骨架关键点信息,包括连续多帧的每个人体的骨架关键点2D坐标信息,构建成骨架序列,并在骨架序列上构建时空卷积图,同时将时空卷积图输入已训练好的多层时空卷积网络(st
‑
gcn)进行动作识别；利用本方法可精准识别打架斗殴等动作行为,可广泛应用于车站、机场、超市、商业街区、运动场等重要公众场合,实现实时预警。
[0005]专利技术专利201710161500.7公开了一种基于视频分析的打架斗殴异常行为自动检测方法,在现有的光流方法计算结果的基础上,增加视角调整系数矩阵,经过改进后的光流矢量将更加准确的体现出具有纵向透视视角场景下目标的运动特征。
[0006]但是，上述方法实时识别打架斗殴行为还有诸多难点。首先，进行打架斗殴识别通常需要提取出画面中人体的骨骼数据或者光流数据，然后根据这些数据判断是否发生打架斗殴事件。但是人体关键点检测与光流数据计算耗时很长，难以实现实时识别。其次，人体关键点识别易受背景干扰，难以在与训练数据背景不同的环境下取得较好的效果，常常将类似人体的物品当作人类，为后续准确判断带来了极大困难。而且打架斗殴动作种类多、参与人数不一，易与跳舞、人群拥挤等事件混淆，仅仅根据单张图片或者一个短时动作无法准确分辨。

技术实现思路

[0007]为解决上述技术问题，本专利技术提出了一种打架斗殴行为识别方法及电子设备。本专利技术的目的通过以下技术方案实现：一种打架斗殴行为识别方法，包括如下步骤：S1、获得视频流数据中的图片帧序列，将某一图片帧对应的n个短时动作队列作为
一组数据；所述短时动作队列包括当前图片帧及当前图片帧的前若干个图片帧；不同短时动作队列中的图片帧数量不同；将短时动作队列中的图像帧均匀分成m个图像块并按顺序编号，每个短时动作队列形成m个时空动作队列并进行人工标注形成训练数据集，n≥2,m≥4；S2、将数据集输入待训练的多头自注意力机制模型训练得到训练好的多头自注意力机制模型；所述待训练的多头自注意力机制模型将相邻的时空动作队列结合得到融合队列，然后提取融合队列的识别类别X
icls；
所述识别类别包括打架斗殴和没打架斗殴两个类别；然后将每组数据中的时空动作队列的识别类别X
icls
使用一个全局编码器编码为一组融合多帧信息的向量V，最后利用一个全连接层将全局编码器输出的向量映射到打架和没打架两个类别，输出打架斗殴的概率；S3、读取视频流，获取当前图片帧i，将当前图片帧i对应的n个短时动作队列的时空动作队列输入训练好的识别模型输出打架斗殴的概率；S4、将当前图片帧i对应的打架斗殴的概率P与预设阈值L进行比较，若P≥L则判断为发生了打架斗殴，进行报警。
[0008]进一步的改进，所述步骤S1中，n=3，m=9。
[0009]进一步的改进，所述步骤S1中短时动作队列l
i
=l
i1
,l
i2
,l
i3
；l
i1
,l
i2
,l
i3
∈R
t
×
h
×
w
×
C
分别表示9个图片帧，16个图片帧和25个图片帧的短时动作队列，其中，R表示实数集，t表示时间，h表示高，w表示宽，C表示通道数；各短时动作队列中的图片帧均按照九宫格形式均分成九份，得到对应的时空动作队列l
ij
=l
1ij
,...,l
9ij
；i=1,2,3。
[0010]进一步的改进，步骤S2中，先将短时动作队列l
i
=l
i1
,l
i2
,l
i3
均输入大小为t
×
h
×
w的三维卷积核进行三维卷积得到特征图z
i1
,z
i2
,z
i3
；z
ij
=z
1ij
,...,z
9ij，
j=1,2,3；z
9ij
表示第i个图片帧对应的第j个短时动作队列中的第9个时空动作队列；对每个短时动作队列添加可学习的类别z
ijcls
和位置编码P
i，
得到多头自注意力机制模型的输入序列：z
ij
=[z
ijcls
,z
1ij
,...,z
9ij
]+P
i
z
ijcls
表示短时动作l
ij
的类别。
[0011]进一步的改进，所述多头自注意力机制模型在训练时，为每组输入序列z
ij
单独训练h组权重矩阵，每组权重矩阵均包括Query权重矩阵W
Q
，Key权重矩阵W
k
和Value权重矩阵W
V
。
[0012]进一步的改进，所述步骤S3中，将输入序列z
ij
分别和h组训练过的权重矩阵W
aQ
，W
aK
和W
aV
相乘，得到h组权重矩阵Q
a
、K
a
、V
a
，a=1,2,...,h;然后根据h组权重矩阵得到h个自注意力矩阵，将h个自注意力矩阵拼接，把拼接后的矩阵和一个可学习的权重矩阵W0相乘,得到最终的多头自注意力矩阵Z
ij
=[Z
ijcls
,Z
1ij
,...,Z
9ij
]，然后将将两个相邻的时空动作队列的键和值投射到相同的维度，再利用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种打架斗殴行为识别方法，其特征在于：包括如下步骤：S1、获得视频流数据中的图片帧序列，将某一图片帧对应的n个短时动作队列作为一组数据；不同短时动作队列中的图片帧数量不同；将短时动作队列中的图像帧均匀分成m个图像块并按顺序编号，每个短时动作队列形成m个时空动作队列并进行人工标注形成数据集，n≥2,m≥4；S2、将数据集输入待训练的多头自注意力机制模型训练得到训练好的多头自注意力机制模型；S3、读取视频流，获取当前图片帧i，将当前图片帧i对应的n个短时动作队列的时空动作队列输入训练好的识别模型输出打架斗殴的概率；S4、将当前图片帧i对应的打架斗殴的概率P与预设阈值L进行比较，若P≥L则判断为发生了打架斗殴，进行报警。2.如权利要求1所述的打架斗殴行为识别方法，其特征在于：所述步骤S1中，n=3，m=9。3.如权利要求2所述的打架斗殴行为识别方法，其特征在于：所述步骤S1中短时动作队列l
i
=l
i1
,l
i2
,l
i3
；l
i1
,l
i2
,l
i3
分别表示9个图片帧，16个图片帧和25个图片帧的短时动作队列。4.如权利要求3所述的打架斗殴行为识别方法，其特征在于：步骤S2中，先将短时动作队列l
i
=l
i1
,l
i2
,l
i3
均输入大小为t
×
h
×
w的三维卷积核进行三维卷积得到特征图z
i1
,z
i2
,z
i3
；z
ij
=z
1ij
,...,z
9ij，
j=1,2,3；z
9ij
表示第i个图片帧对应的第j个短时动作队列中的第9个时空动作队列；对每个短时动作队列添加可学习的类别z
ijcls
和位置编码P
i，
得到多头自注意力机制模型的输入序列：z
ij
=[z
...

【专利技术属性】
技术研发人员：马晓龙，贺婧怡，闾凡兵，吴婷，
申请(专利权)人：长沙海信智能系统研究院有限公司，
类型：发明
国别省市：