一种基于cornersort跟踪算法的暴力行为检测方法技术

本发明专利技术公开了一种基于cornersort跟踪算法的暴力行为检测方法，解决现有技术检测准确率低、漏检、误判、识别能力差的不足，收集暴力视频训练集，对视频帧数据进行统一裁剪后使用cornersort行人跟踪模块处理人体骨架数据，生成骨架运动特征分量；并输入到RGB外观信息补充模块，利用轻量级RGB空间特征提取网络将骨架附近的外观信息补充到骨架运动特征分量中，输出得到具有RGB外观信息的骨架运动特征分量；而后送入基于transformer注意力机制的时空图模块中，计算出空间注意力权值图和时间注意力权值图，并分别与骨架运动特征分量在空间和时间上进行权重分配后，逐步生成更高级别的特征，最后通过标准softmax分类器得到暴力或非暴力的置信度，得到是否存在暴力行为的检测结果。结果。结果。

【技术实现步骤摘要】
一种基于cornersort跟踪算法的暴力行为检测方法


[0001]本专利技术涉及暴力行为检测技术等领域，具体的说，是一种基于cornersort跟踪算法的暴力行为检测方法。

技术介绍

[0002]暴力事件时有发生，每次都将引起社会各界的广泛关注，任其肆意发展、不约束管控，将对社会发展、国家稳定带来巨大的危害。视频监控作为一种重要的安全防范手段，近十几年得到了快速的发展，商户监控系统的大量部署，城市“天网”监控系统的全面配置，使得公共场合基本覆盖了监控摄像头，工作人员通过监控系统实时传输的监控视频对场所进行监控，及时发现预警异常行为并采取必要措施。然而，井喷式增长的监控视频数据以及暴力事件发生的小概率，仅靠人工对视频进行筛选和检测愈发困难，由于视觉疲劳产生的错判、漏判极易发生，监控的实时性和主动性不能得到充分发挥。因此，借助计算机技术对监控视频进行分析，自动检测出危害社会公共安全的暴力行为，对于稳定社会，提高安防水平具有重大意义。
[0003]暴力行为检测问题引起了学术界的广泛关注，研究人员对暴力行为识别进行了大量的努力和尝试。传统的暴力行为检测方法主要依赖各种手工特征的构造，如运动轨迹、光流矢量、肢体定位等。这些特征的设计依赖制作者的经验和知识储备，泛化能力弱，不适合部署在复杂的监控系统中。因此，此类方法虽然可以在实验环境中取得较好的的检测效果，但实际应用误检率高，鲁棒性较差。
[0004]神经网络的出现推动了暴力行为检测的飞速发展，无需构造复杂的手工特征，通过网络自学习，自动的提取特征，训练生成模型并进行暴力行为二分类（暴力或非暴力）。目前业界广泛适用的是基于深度学习的方法，该类方法在识别准确度和鲁棒性上具有巨大优势，但仍存在以下不足：1）暴力行为检测所使用的视频数据中存在较多噪音数据（后置背景等），干扰后期暴力特征的提取过程，导致暴力行为检测准确率降低；2）过往研究中暴力行为运动特征提取方法（光流法和帧差法）不能够区分人类和其他非人运动的物体，导致暴力行为检测产生漏检和误判。
[0005]3）现有基于骨架的暴力行为检测方法中忽略了人体骨架处的外观特征对运动信息的增益作用，使用的时空特征提取网络也不能充分表达时间特征和空间特征两者之间的联系，削弱甚至忽略了时间特征的提取，造成暴力行为检测的识别能力降低。

技术实现思路

[0006]本专利技术的目的在于提供一种基于cornersort跟踪算法的暴力行为检测方法，基于人体骨架数据使用本专利技术提出的cornersort多人跟踪算法实现人员轨迹跟踪，通过对人体主骨架的跟踪，确定在不同帧中的人员位置，在跟踪过程中消除了后置静止背景的干扰，使网络聚焦于前置信息（运动的行人）的特征提取，提高了暴力行为检测能力。除此之外，消除
了非人物体（动物、行驶汽车等）运动对人体运动行为的干扰，使信息聚焦于人，降低了暴力行为检测的误报率。由于在跟踪模块中消除后置背景时将丧失大部分人体骨架处的外观信息，在后续的深度学习中可能会丢失仅剩的人体骨架外观特征（外观信息在一定程度上会给运动信息带来增益作用），本专利技术通过在早期（将特征分量输入图卷积网络之前）构建一个轻量级RGB空间特征提取网络进行RGB外观信息提取，对人体骨架信息进行RGB外观信息补充，以便解决在跟踪模块中消除后置背景而带来的人体骨架处外观信息丢失问题。其通过该方式能够加强外观信息和运动信息之间的早期联系（输入图卷积网络之前），间接增强后续通过图卷积网络得到的外观信息特征，从而提高运动信息表达能力。由于人体骨架信息为典型的非欧式结构数据，根据图神经网络适合处理任意结构数据的特性，本专利技术提出了一种基于transformer注意力机制的时空图神经网络模型（时空图模块【transformer
‑
GCN】）来进行暴力特征的学习和检测，有别于基本图卷积网络，该部分在网络中增加了transformer注意力机制，加强了暴力行为时空特征的表达能力，提高了暴力行为检测的准确率。
[0007]本专利技术通过下述技术方案实现：一种基于cornersort跟踪算法的暴力行为检测方法，包括下述步骤：1）收集暴力视频训练集，对视频帧数据进行统一裁剪后使用cornersort行人跟踪模块对经过openpose框架得出的人体骨架数据处理后生成骨架运动特征分量F；2）将步骤1）生成的骨架运动特征分量F输入到RGB外观信息补充模块，利用轻量级RGB空间特征提取网络将骨架附近的外观信息补充到骨架运动特征分量F中，输出得到具有RGB外观信息的骨架运动特征分量；3）将步骤2）生成的骨架运动特征分量送入基于transformer注意力机制的时空图模块中，计算出空间注意力权值图和时间注意力权值图，并分别与骨架运动特征分量在空间和时间上进行权重分配后，逐步生成更高级别的特征，最后通过标准softmax分类器得到暴力或非暴力的置信度，从而得到是否存在暴力行为的检测结果。
[0008]进一步为更好地实现本专利技术所述的一种基于cornersort跟踪算法的暴力行为检测方法，所述步骤1）包括下述步骤：1.1）收集暴力视频数据集，将视频裁剪处理后使用openpose框架提取每帧人体骨架数据（即分别对每帧中的每个人员提取18个骨骼关节点数据），保存数据格式为，其中，x,y表示关节点的坐标，s表示关节点置信度且，k表示当前帧中第k个人员实例，t表示关节点索引且；1.2）将人体骨架数据经过关节点数据归一化处理后使用cornersort行人跟踪模块采用cornersort行人跟踪算法提取包含时序信息的骨架运动特征分量F。
[0009]进一步为更好地实现本专利技术所述的一种基于cornersort跟踪算法的暴力行为检测方法，使用Openpose框架提取所述人体骨架数据的具体步骤为：1.1.1）输入N个大小为的视频帧图片；1.1.2）通过Openpose框架的预提取网络生成一组特征图f，且特征图f形状表示为；1.1.3）将特征图f输入到6个由关键点置信度网络和关键点亲和向量场构成的预测阶段生成置信度图S及亲和域L，且前一预测阶段所生成的置信度图S及亲和域L作为后一
预测阶段的输入；1.1.4）经步骤1.1.3）后，得到人体骨架数据。
[0010]进一步为更好地实现本专利技术所述的一种基于cornersort跟踪算法的暴力行为检测方法，所述关节点数据归一化处理通过下述公式实现：，其中，表示经过关节点数据归一化后的关节点坐标，表示图像尺寸，表示关节点的横纵坐标，表示坐标中心点；所述cornersort行人跟踪算法采用下述公式实现：，其中，表示最终预测结果，表示预测出来的当前帧关节点应处的位置，表示关节点真实位置，a为训练出来的最优权值表示。
[0011]进一步为更好地实现本专利技术所述的一种基于cornersort跟踪算法的暴力行为检测方法，所述骨架运动特征分量F的矩阵维度表示为，其中，T表示骨架帧数，18表示人体骨架的18个节点，3表示各关节点的坐标及置信度，K表示单帧中检测到的人员数量。
[0012]进一步为更好地实现本专利技术所述的一种基于co本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于cornersort跟踪算法的暴力行为检测方法，其特征在于：包括下述步骤：1）收集暴力视频训练集，对视频帧数据进行统一裁剪后使用cornersort行人跟踪模块对经过openpose框架得出的人体骨架数据 处理后生成骨架运动特征分量F；2）将步骤1）生成的骨架运动特征分量F输入到RGB外观信息补充模块，利用轻量级RGB空间特征提取网络将骨架附近的外观信息补充到骨架运动特征分量F中，输出得到具有RGB外观信息的骨架运动特征分量；3）将步骤2）生成的骨架运动特征分量送入基于transformer注意力机制的时空图模块中，计算出空间注意力权值图和时间注意力权值图，并分别与骨架运动特征分量在空间和时间上进行权重分配后，逐步生成更高级别的特征，最后通过标准softmax分类器得到暴力或非暴力的置信度，从而得到是否存在暴力行为的检测结果。2.根据权利要求1所述的一种基于cornersort跟踪算法的暴力行为检测方法，其特征在于：所述步骤1）包括下述步骤：1.1）收集暴力视频数据集，将视频裁剪处理后使用openpose框架提取每帧人体骨架数据，保存数据格式为，其中，x,y表示关节点的坐标，s表示关节点置信度且，k表示当前帧中第k个人员实例，t表示关节点索引且；1.2）将人体骨架数据经过关节点数据归一化处理后使用cornersort行人跟踪模块采用cornersort行人跟踪算法提取包含时序信息的骨架运动特征分量F。3.根据权利要求2所述的一种基于cornersort跟踪算法的暴力行为检测方法，其特征在于：使用Openpose框架提取所述人体骨架数据的具体步骤为：1.1.1）输入N个大小为的视频帧图片；1.1.2）通过Openpose框架的预提取网络生成一组特征图f，且特征图f形状表示为；1.1.3）将特征图f输入到6个由关键点置信度网络和关键点亲和向量场构成的预测阶段生成置信度图S及亲和域L，且前一预测阶段所生成的置信度图S及亲和域L作为后一预测阶段的输入；1.1.4）经步骤1.1.3）后，得到人体骨架数据。4.根据权利要求2所述的一种基于cornersort跟踪算法的暴力行为检测方法，其特征在于：所述关节点数据归一化处理通过下述公式实现：；其中，表示经过关节点数据归一化后的关节点坐标，表示图像尺...

【专利技术属性】
技术研发人员：梁刚，熊荆荆，李丞浩，杨进，许春，赵奎，
申请(专利权)人：四川大学，
类型：发明
国别省市：