一种打架行为识别方法、系统及计算机可读存储介质技术方案

本发明专利技术公开了一种打架行为识别方法、系统及计算机可读存储介质，所述方法包括以下步骤：判断监控视频每一帧图像是否存在人体近距离接触关系，并判断监控视频存在人体近距离交互行为；对存在人体近距离交互行为的网格点人体检测框区域进行扩大、融合，并截取每帧图像的人体行为交互图像区域，输入到视频分类模型，该模型输出分类结果和表示打架区域的类别激活热图；将类别激活热图转换成坐标表示，并通过坐标变换将打架行为坐标转换回原始的图像序列中，获得在原始图像中的定位结果。该发明专利技术能够更准确判断多个人体之间的接触关系，准确定位打架区域，保持较高精度且能应用于边缘计算设备端。计算设备端。计算设备端。

【技术实现步骤摘要】
一种打架行为识别方法、系统及计算机可读存储介质


[0001]本专利技术涉及行为识别领域，特别涉及一种打架行为识别方法、系统及计算机可读存储介质。

技术介绍

[0002]目前打架识别常用的的技术是基于深度学习的方法，主要有人体动作检测（基于单帧图像），人体关键点（骨骼点）检测与识别和视频分类技术。人体检测技术基于单帧图像识别人体动作类别，忽略了人体时序动作特征信息，容易出现误识别和漏识别。人体关键点检测与识别技术基于检测的多帧人体关键点序列，采用人工定义手部和腿部的关键点运动特征或利用模型识别人体关键点序列，判断打架异常行为。但打架事件过程中打架人员常常纠缠在一起，造成人体关键点容易被遮挡和误检，影响后续的识别环节。视频分类技术输入一个连续的视频帧序列，能够同时利用空间和时序特征，具有较好的泛化能力。但如果对监控摄像头的视频流进行实时的视频分类，就需要较高的算力设备支持。
[0003]例如：专利一“CN202010587707.2，一种异常行为识别方法及装置”：对待识别的视频帧进行人体检测与跟踪，如果视频帧中存在至少两个人体，就分别对人体区域图像进行人体关键点检测。当人体关键点被外部遮挡的数量少于一定阈值时，就判断人体区域图像之间的中心点距离跟第一距离阈值和第二距离阈值的关系。如果中心点距离小于等于第一距离阈值大于第二距离阈值，就输入视频帧或结合输入关键点进行单人动作识别；如果中心点距离同时小于第一距离阈值和第二距离阈值，则输入视频帧进行多人动作识别。统计连续视频帧被识别为异常行为的帧数，如果打架行为的帧数大于一定阈值就判断待识别的视频存在打架行为。该方案存在以下缺点：1）直接采用人体图像区域之间的中心点距离不能准确判断图像中两个人体是否存在接触，因为两个人体图像区域的中心点距离跟摄像头的拍摄距离和拍摄角度有关，人体图像区域之间的中心点距离不能完全反应现实中的距离远近关系。2）通过视频帧即一帧的图像信息识别动作类别准确率不高，其忽略了人体动作的运动信息。3）该异常行为的识别方法包括了人体检测模块、人体跟踪模块、人体关键点检测模块、单人行为识别模块和多人行为识别模块，除了跟踪模块外都需要进行模型训练优化，实现成本较高。
[0004]例如：专利二“CN202211043986.1，打架行为识别方法、装置及电子设备”：先检测图像中的行人轮廓图，对获得的行人轮廓图像进行姿态识别，得到人体关键点坐标和姿态类别。利用跟踪模块和人体关键点图像坐标，计算手部和腿部关键点的最大位移速度、平均位移速度和移动方向。根据关键点的速度大小，位移方向与其它目标行人之间的指向关系，以及目标行人关键点与其它目标行人之间的重合区域关系确定是否出现打架动作；当跟踪的目标行人出现的打架次数大于预设动作阈值，姿态切换次数大于切换阈值，同时两个目标行人之间的距离小于预设阈值时，就发出打架告警。该方案存在以下缺点：1）根据在图像中的像素坐标计算人体关键点的运动特征和目标行人之间的距离不能真实反应现实中的运动特征和距离关系，影响后续的识别环节。因为其与专利技术一存在同样的问题，忽略了
摄像头的拍摄距离和角度的影响。2）打架斗殴是一个肢体动作复杂的行为，事件的过程中人体的关键点容易被遮挡，通过手工定义的人体关键点的速度特征、行人之间的距离关系和姿态切换次数较难准确描述打架行为，容易出现误识别和漏识别的情况。
[0005]例如：专利三“CN202111426217.5，一种基于动作识别的自动报警方法和系统”：采用视频分类动作识别模型识别监控视频是否存在打架斗殴行为，如果存在就提取打架斗殴图像用于上报告警；接着检测打架斗殴图像的人员头型，计算人员头型之间的像素距离，得到人员最密集的坐标点，确定为打架区域，利用摄像头上的强光手电照射打架区域。该方案存在以下缺点：1）该方法需要对摄像头获取的视频流进行实时地动作识别（视频分类），而视频分类模型输入的是连续的视频帧序列，同时提取时序和空间特征，推理一次模型需要较大的计算量，在边缘设备端较难达到实时的识别效果。2）采用人员头型的像素坐标计算人员头型的最密集区域作为打架区域，容易错误定位，因为人员头型在图像中的密集情况跟现场的人群密度和摄像头的拍摄角度有关。
[0006]例如：专利四“CN201910755687.2，一种面向智慧社区的异常行为检测方法及系统”：逐帧检测监控摄像机所拍摄视频图像中的人体目标，当图像中存在两个及以上人体目标时，计算人体多个目标之间的马氏距离及IOU加权（关联度）；当多个人体目标之间的关联度超过阈值时，融合扩大关联目标的bounding box，将图像输入到打架斗殴模型进行打架斗殴检测；如果连续10帧检测中超过8次判断为打架斗殴的结果就进行预警提示。该方案存在以下缺点：打架斗殴是一个连续的动作行为，包含空间和时序特征，根据单帧图像来检测打架斗殴行为，忽略了动作之间的时序信息，与专利技术一存在同样的不足。

技术实现思路

[0007]本专利技术的目的在于克服现有技术的缺点与不足，提供一种打架行为识别方法，该方法能够更准确判断多个人体之间的接触关系，准确定位打架区域，保持较高精度且能应用于边缘计算设备端。
[0008]本专利技术的另一目的在于提供一种打架行为识别系统。
[0009]本专利技术的目的通过以下的技术方案实现：一种打架行为识别方法，包括以下步骤：S1、首先判断监控视频每一帧图像是否存在人体近距离接触关系，然后判断监控视频是否存在人体近距离接触次数不小于第一预设阈值的一个网格点，若存在，则该监控视频存在人体近距离交互行为；S2、首先扩大网格点及其邻近网格点对应的人体检测框，然后以最小外接矩形框的方式融合扩大后的人体检测框，得到网格点的人体行为交互图像区域；如果监控视频中存在多个人体近距离交互行为的网格点，则在得到多个网格点的人体行为交互图像区域后，再以最小外接矩形框的方式融合多个网格点的人体行为交互图像区域，得到监控视频的人体行为交互图像区域；最后截取每帧图像的人体行为交互图像区域，输入到步骤S3；S3、人体行为交互图像区域输入到视频分类模型中，输出分类结果和表示打架区域的类别激活热图；所述视频分类模型是在已经训练好的视频分类模型中增加类别激活热图输出分支，类别激活热图输出分支共享类别输出分支的全连接层参数；
S4、将类别激活热图转换成坐标表示，并通过坐标变换将打架行为坐标转换回原始的图像序列中，获得在原始图像中的定位结果。
[0010]步骤S1中，所述判断监控视频每一帧图像是否存在人体近距离接触关系，具体通过以下方式进行：如果两个行人对应的行人检测框之间的归一化中心点距离小于第二预设阈值，或者两个行人对应的行人检测框之间的归一化中心点距离大于第二预设阈值，小于第三预设阈值，且两个行人对应的行人检测框之间的IOU大于零，则认为存在人体近距离接触关系。
[0011]步骤S1中，所述判断监控视频每一帧图像是否存在人体近距离接触关系，具体通过以下方式进行：（1）计算头部检测框与行人检测框的前景交并比IOF，得到匹配成本矩阵；其中前景交并比IOF的计算公式如下：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种打架行为识别方法，其特征在于，包括以下步骤：S1、首先判断监控视频每一帧图像是否存在人体近距离接触关系，然后判断监控视频是否存在人体近距离接触次数 不小于第一预设阈值的一个网格点，若存在，则该监控视频存在人体近距离交互行为；S2、首先扩大网格点及其邻近网格点对应的人体检测框，然后以最小外接矩形框的方式融合扩大后的人体检测框，得到网格点的人体行为交互图像区域；如果监控视频中存在多个人体近距离交互行为的网格点，则在得到多个网格点的人体行为交互图像区域后，再以最小外接矩形框的方式融合多个网格点的人体行为交互图像区域，得到监控视频的人体行为交互图像区域；最后截取每帧图像的人体行为交互图像区域，输入到步骤S3；S3、人体行为交互图像区域输入到视频分类模型中，输出分类结果和表示打架区域的类别激活热图；所述视频分类模型是在已经训练好的视频分类模型中增加类别激活热图输出分支，类别激活热图输出分支共享类别输出分支的全连接层参数；S4、将类别激活热图转换成坐标表示，并通过坐标变换将打架行为坐标转换回原始的图像序列中，获得在原始图像中的定位结果。2.根据权利要求1所述打架行为识别方法，其特征在于，步骤S1中，所述判断监控视频每一帧图像是否存在人体近距离接触关系，具体通过以下方式进行：如果两个行人对应的行人检测框之间的归一化中心点距离小于第二预设阈值，或者两个行人对应的行人检测框之间的归一化中心点距离大于第二预设阈值，小于第三预设阈值，且两个行人对应的行人检测框之间的IOU大于零，则认为存在人体近距离接触关系。3.根据权利要求1所述打架行为识别方法，其特征在于，步骤S1中，所述判断监控视频每一帧图像是否存在人体近距离接触关系，具体通过以下方式进行：（1）计算头部检测框与行人检测框的前景交并比IOF，得到匹配成本矩阵；其中前景交并比IOF的计算公式如下：；式中，表示人体检测框与头部检测框的重叠区域面积，表示头部检测框的面积；（2）利用匈牙利匹配算法对匹配成本矩阵求最优解，得到行人检测框和头部检测框的从属关系；（3）计算行人检测框之间的中心点像素距离，比较两个行人检测框匹配的头部检测框面积，用最小的头部检测框面积归一化行人检测框之间的中心点像素距离，得到归一化后的中心点距离；的计算公式如下：；式中，和表示两个不同的行人检测目标，、分别表示与行人检测目标、匹
配的头部检测目标，表示求两个实数的最小值；表示行人检测目标的行人检测框中心点的横坐标；表示行人检测目标的行人检测框中心点的横坐标；表示行人检测目标的行人检测框中心点的纵坐标；表示行人检测目标的行人检测框中心点的纵坐标；表示头部检测目标的头部检测框的宽度；表示头部检测目标的头部检测框的高度；表示头部检测目标的头部检测框的宽度；表示头部检测目标的头部检测框的高度；（4）计算行人检测框之间的面积交并比IOU，IOU的计算公式如下：；式中，表示行人检测目标的行人检测框和行人检测目标的行人检测框的重叠区域面积，表示行人检测目标的行人检测框和行人检测目标的行人检测框的合并区域面积；（5）如果两个行人检测框之间的归一化中心点距离小于第二预设阈值，则认为这两个行人之间存在近距离接触；如果检测框之间的归一化中心点距离大于第二预设阈值，小于第三预设阈值，且行人检测框之间的IOU大于0，则认为这两个行人之间也存在近距离接触；其余情况则认为这两个行人之间不存在近距离接触。4.根据权利要求1所述打架行为识别方法，其特征在于，判断监控视频是否存在人体近距离交互行为，具体如下：1）首先将图像划分为大小相同的个网格区域；2）计算每帧图像中存在行人近距离接触的坐标位置，即计算存在近距离接触的两个行人检测框之间的中心点坐标；然后对中心点坐标归一化取整，得到在网格中的坐标，为取整符号；其中，表示行人检测目标的行人检测框中心点的横坐标；表示行人检测目标的行人检测框中心点的横坐标；表示行人检测目标的行人检测框中心点的纵坐标；表示行人检测...

【专利技术属性】
技术研发人员：区英杰，刘均发，谭焯康，董万里，
申请(专利权)人：广州英码信息科技有限公司，
类型：发明
国别省市：