一种打架行为识别方法、系统及计算机可读存储介质技术方案

本发明专利技术公开了一种打架行为识别方法、系统及计算机可读存储介质，所述方法包括以下步骤：判断监控视频每一帧图像是否存在人体近距离接触关系，并判断监控视频存在人体近距离交互行为；对存在人体近距离交互行为的网格点人体检测框区域进行扩大、融合，并截取每帧图像的人体行为交互图像区域，输入到视频分类模型，该模型输出分类结果和表示打架区域的类别激活热图；将类别激活热图转换成坐标表示，并通过坐标变换将打架行为坐标转换回原始的图像序列中，获得在原始图像中的定位结果。该发明专利技术能够更准确判断多个人体之间的接触关系，准确定位打架区域，保持较高精度且能应用于边缘计算设备端。计算设备端。计算设备端。

【技术实现步骤摘要】
一种打架行为识别方法、系统及计算机可读存储介质


[0001]本专利技术涉及行为识别领域，特别涉及一种打架行为识别方法、系统及计算机可读存储介质。

技术介绍

[0002]目前打架识别常用的的技术是基于深度学习的方法，主要有人体动作检测（基于单帧图像），人体关键点（骨骼点）检测与识别和视频分类技术。人体检测技术基于单帧图像识别人体动作类别，忽略了人体时序动作特征信息，容易出现误识别和漏识别。人体关键点检测与识别技术基于检测的多帧人体关键点序列，采用人工定义手部和腿部的关键点运动特征或利用模型识别人体关键点序列，判断打架异常行为。但打架事件过程中打架人员常常纠缠在一起，造成人体关键点容易被遮挡和误检，影响后续的识别环节。视频分类技术输入一个连续的视频帧序列，能够同时利用空间和时序特征，具有较好的泛化能力。但如果对监控摄像头的视频流进行实时的视频分类，就需要较高的算力设备支持。
[0003]例如：专利一“CN202010587707.2，一种异常行为识别方法及装置”：对待识别的视频帧进行人体检测与跟踪，如果视频帧中存在至少两个人体，就分别对人体本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种打架行为识别方法，其特征在于，包括以下步骤：S1、首先判断监控视频每一帧图像是否存在人体近距离接触关系，然后判断监控视频是否存在人体近距离接触次数 不小于第一预设阈值的一个网格点，若存在，则该监控视频存在人体近距离交互行为；S2、首先扩大网格点及其邻近网格点对应的人体检测框，然后以最小外接矩形框的方式融合扩大后的人体检测框，得到网格点的人体行为交互图像区域；如果监控视频中存在多个人体近距离交互行为的网格点，则在得到多个网格点的人体行为交互图像区域后，再以最小外接矩形框的方式融合多个网格点的人体行为交互图像区域，得到监控视频的人体行为交互图像区域；最后截取每帧图像的人体行为交互图像区域，输入到步骤S3；S3、人体行为交互图像区域输入到视频分类模型中，输出分类结果和表示打架区域的类别激活热图；所述视频分类模型是在已经训练好的视频分类模型中增加类别激活热图输出分支，类别激活热图输出分支共享类别输出分支的全连接层参数；S4、将类别激活热图转换成坐标表示，并通过坐标变换将打架行为坐标转换回原始的图像序列中，获得在原始图像中的定位结果。2.根据权利要求1所述打架行为识别方法，其特征在于，步骤S1中，所述判断监控视频每一帧图像是否存在人体近距离接触关系，具体通过以下方式进行：如果两个行人对应的行人检测框之间的归一化中心点距离小于第二预设阈值，或者两个行人对应的行人检测框之间的归一化中心点距离大于第二预设阈值，小于第三预设阈值，且两个行人对应的行人检测框之间的IOU大于零，则认为存在人体近距离接触关系。3.根据权利要求1所述打架行为识别方法，其特征在于，步骤S1中，所述判断监控视频每一帧图像是否存在人体近距离接触关系，具体通过以下方式进行：（1）计算头部检测框与行人检测框的前景交并比IOF，得到匹配成本矩阵；其中前景交并比IOF的计算公式如下：；式中，表示人体检测框与头部检测框的重叠区域面积，表示头部检测框的面积；（2）利用匈牙利匹配算法对匹配成本矩阵求最优解，得到行人检测框和头部检测框的从属关系；（3）计算行人检测框之间的中心点像素距离，比较两个行人检测框匹配的头部检测框面积，用最小的头部检测框面积归一化行人检测框之间的中心点像素距离，得到归一化后的中心点距离；的计算公式如下：；式中，和表示两个不同的行人检测目标，、分别表示与行人检测目标、匹
配的头部检测目标，表示求两个实数的最小值；表示行人检测目标的行人检测框中心点的横坐标；表示行人检测目标的行人检测框中心点的横坐标；表示行人检测目标的行人检测框中心点的纵坐标；表示行人检测目标的行人检测框中心点的纵坐标；表示头部检测目标的头部检测框的宽度；表示头部检测目标的头部检测框的高度；表示头部检测目标的头部检测框的宽度；表示头部检测目标的头部检测框的高度；（4）计算行人检测框之间的面积交并比IOU，IOU的计算公式如下：；式中，表示行人检测目标的行人检测框和行人检测目标的行人检测框的重叠区域面积，表示行人检测目标的行人检测框和行人检测目标的行人检测框的合并区域面积；（5）如果两个行人检测框之间的归一化中心点距离小于第二预设阈值，则认为这两个行人之间存在近距离接触；如果检测框之间的归一化中心点距离大于第二预设阈值，小于第三预设阈值，且行人检测框之间的IOU大于0，则认为这两个行人之间也存在近距离接触；其余情况则认为这两个行人之间不存在近距离接触。4.根据权利要求1所述打架行为识别方法，其特征在于，判断监控视频是否存在人体近距离交互行为，具体如下：1）首先将图像划分为大小相同的个网格区域；2）计算每帧图像中存在行人近距离接触的坐标位置，即计算存在近距离接触的两个行人检测框之间的中心点坐标；然后对中心点坐标归一化取整，得到在网格中的坐标，为取整符号；其中，表示行人检测目标的行人检测框中心点的横坐标；表示行人检测目标的行人检测框中心点的横坐标；表示行人检测目标的行人检测框中心点的纵坐标；表示行人检测...

【专利技术属性】
技术研发人员：区英杰，刘均发，谭焯康，董万里，
申请(专利权)人：广州英码信息科技有限公司，
类型：发明
国别省市：