一种基于时空图卷积神经网络的异常行为识别方法技术

本申请涉及异常行为的识别领域，尤其是涉及一种基于时空图卷积神经网络的异常行为识别方法，包括以下步骤：获取目标对象的视频数据；标签标注视频数据的异常行为，得到数据集；构建异常行为识别模型，基于数据集在时空卷积神经网络上进行训练，得到异常行为识别模型；输入待检视频源，选取与待检视频源匹配的异常行为识别模型，并输入待检视频源的告警类型；异常行为识别模型对待检视频源进行检测，并在待检视频源发生异常行为时推送相应的告警信息。本申请通过利用视频数据训练异常行为识别模型，然后让异常行为识别模型检测待检视频源中是否存在异常行为，若存在异常行为则发送告警信息，便于工作人员获知，减少异常行为所带来的危险。来的危险。

【技术实现步骤摘要】
一种基于时空图卷积神经网络的异常行为识别方法


[0001]本申请涉及异常行为的识别领域，尤其是涉及一种基于时空图卷积神经网络的异常行为识别方法。

技术介绍

[0002]在场景识别中，有很大一部分研究是针对于人体行为识别的，主要进行识别的也是一些家庭内的危险行为，如小孩、老人摔倒检测，外来人员闯入等，这些都可归为人体行为识别的范畴之内。行为识别，即根据视频图像完成对于人体动作的区分，这其中包括但不限于摔倒等危险动作。
[0003]行为识别研究的是视频中目标的动作，比如判断一个人是在走路，跳跃还是挥手。在视频监督，视频推荐和人机交互中有重要的应用。近几十年来，随着神经网络的兴起，发展出了很多处理行为识别问题的方法。不同于目标识别，行为识别除了需要分析目标的空间依赖关系，还需要分析目标变化的历史信息。这就为行为识别的问题增加了难度。输入一系列连续的视频帧，机器首先面临的问题是如何将这一系列图像依据相关性进行分割，比如一个人可能先做了走路的动作，接下来又做了挥手，然后又跳跃。机器要判断这个人做了三个动作，并且分离出对应时间段的视频单独进行判断。
[0004]在生活过程中，有些目标物可能会做出一些异常行为，这些异常行为可能存在着危险，但是目前的算法不容易对这些异常行为进行识别，这就导致这些异常行为容易给人们带来危险。

技术实现思路

[0005]为了提高更好更准确的对目标物的异常行为进行识别，并提高对目标物异常行为识别的准确率，减少异常行为所带来的危险，本申请提供了一种基于时空图卷积神经网络的异常行为识别方法，其通过利用视频数据训练异常行为识别模型，然后让异常行为识别模型检测待检视频源中是否存在异常行为，若存在异常行为则发送告警信息，便于工作人员获知，减少异常行为所带来的危险。
[0006]本申请提供一种基于时空图卷积神经网络的异常行为识别方法，采用如下的技术方案：
[0007]一种基于时空图卷积神经网络的异常行为识别方法，包括以下步骤：
[0008]S1、获取目标对象的视频数据；
[0009]S2、标签标注视频数据的异常行为，得到数据集；
[0010]S3、构建异常行为识别模型，基于数据集在时空卷积神经网络上进行训练，得到异常行为识别模型；
[0011]S4、输入待检视频源，选取与待检视频源匹配的异常行为识别模型，并输入待检视频源的告警类型；
[0012]S5、异常行为识别模型对待检视频源进行检测，并在待检视频源发生异常行为时
推送相应的告警信息。
[0013]优选的，视频数据包括：
[0014]异常行为视频数据，用于数据标注和神经网络模型训练，让神经网络模型从中提取到异常行为的特征；
[0015]正常行为视频数据，用于使数据均衡，使训练模型具有更高的精确度和泛化能力。
[0016]优选的，所述S2包括以下步骤：
[0017]S21、标注视频数据中目标的边界框、然后标注目标的骨骼关键点，接着标注目标的行为类型，最后得到数据集；
[0018]S22、数据集的划分，将数据集分成训练集、测试集和验证集。
[0019]优选的，训练集、验证集和测试集的比例设置为70％、10％和20％。
[0020]优选的，所述S3包括以下步骤：
[0021]S31、输入视频数据，然后通过目标检测算法获得每一帧目标的边界框信息和置信度；
[0022]S32、输入目标检测得到的边界框信息，然后通过人体关键点检测算法获得每一帧人体骨骼节点的二维坐标数据；
[0023]S33、对二维坐标输入数据进行多层时空图卷积运算，在图上生成更高层次的特征图；然后输入到SoftMax分类器进行动作分类。
[0024]优选的，所述S31包括以下步骤：
[0025]目标检测算法采用YOLOv5，YOLOv5网络包括数据增强单元、CSPNet特征提取单元、PANet尺度单元、k
‑
means聚类算法单元、损失计算单元；
[0026]数据增强单元包括：
[0027]①
对输入的图像进行色彩空间进行转换，由RGB转换为HSV；
[0028]其中，H/S/V分量值分别为0.015/0.7/0.4；
[0029]②
对输入的图像进行亮度、颜色、对比度平衡调整；
[0030]③
对输入的图像进行水平和垂直平移；
[0031]④
对输入的图像进行缩小或放大处理，缩放因子为0.5.
[0032]⑤
对输入的图像进行剪切处理，剪切因子为0.3；
[0033]⑥
对输入的图像进行上下左右翻转处理，得到增强数据；
[0034]CSPNet特征提取单元包括：
[0035]CSPNet特征提取单元包括Focus单元、CBM单元、Bottleneck单元、Conv卷积单元、连接单元、BN单元、LeakyReLU激活单元；
[0036]Focus单元，用于对增强后的源图像进行Focus操作，得到第一特征图；
[0037]CBM单元，用于对第一特征图依次进行标准卷积操作、批量归一化操作和Mish函数激活操作，得到第二特征图；
[0038]Bottleneck单元，用于对第二特征图进行Bottleneck操作，得到第三特征图；
[0039]Bottleneck单元模块表示为：N
out
＝F(N
i
,(W
i
))+N
i
,1≤i≤L
‑
1；
[0040]其中，i为整数，F(N
i
,(W
i
))表示待学习且为进一步学习的映射，具体表示为：
[0041]k1＝F(0.5x)+x，k2＝F(k1)+x；
[0042]其中，k
i
代表i层模块的输出；
[0043]Conv卷积单元，用于对第三特征图进行标准卷积操作，得到第三特征图卷积结果；用于对第一特征图进行标准卷积操作，得到第一特征图卷积结果；
[0044]连接单元，用于对第一特征图卷积结果和第三特征图卷积结果进行连接操作，得到连接处理结果；
[0045]BN单元，用于对连接处理结果进行批量归一化操作，得到归一化特征数据；
[0046]LeakyReLU激活单元，用于对归一化特征数据进行激活函数LeakyReLU操作，得到激活特征数据；
[0047]CBM单元，用于对激活特征数据依次进行标准卷积操作、批量归一化操作和Mish函数激活操作，得到源图像特征图；
[0048]PANet尺度单元包括：
[0049]PANet尺度单元，用于融合源图像特征图，得到尺度为20的源图像特征图、尺度为32的源图像特征图、尺度为53的源图像特征图和尺度为80的源图像特征图；
[0050]K
‑
means聚本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时空图卷积神经网络的异常行为识别方法，其特征在于，包括以下步骤：S1、获取目标对象的视频数据；S2、标签标注视频数据的异常行为，得到数据集；S3、构建异常行为识别模型，基于数据集在时空卷积神经网络上进行训练，得到异常行为识别模型；S4、输入待检视频源，选取与待检视频源匹配的异常行为识别模型，并输入待检视频源的告警类型；S5、异常行为识别模型对待检视频源进行检测，并在待检视频源发生异常行为时推送相应的告警信息。2.根据权利要求1所述的一种基于时空图卷积神经网络的异常行为识别方法，其特征在于，视频数据包括：异常行为视频数据，用于数据标注和神经网络模型训练，让神经网络模型从中提取到异常行为的特征；正常行为视频数据，用于使数据均衡，使训练模型具有更高的精确度和泛化能力。3.根据权利要求2所述的一种基于时空图卷积神经网络的异常行为识别方法，其特征在于，所述S2包括以下步骤：S21、标注视频数据中目标的边界框、然后标注目标的骨骼关键点，接着标注目标的行为类型，最后得到数据集；S22、数据集的划分，将数据集分成训练集、测试集和验证集。4.根据权利要求3所述的一种基于时空图卷积神经网络的异常行为识别方法，其特征在于，训练集、验证集和测试集的比例设置为70％、10％和20％。5.根据权利要求4所述的一种基于时空图卷积神经网络的异常行为识别方法，其特征在于，所述S3包括以下步骤：S31、输入视频数据，然后通过目标检测算法获得每一帧目标的边界框信息和置信度；S32、输入目标检测得到的边界框信息，然后通过人体关键点检测算法获得每一帧人体骨骼节点的二维坐标数据；S33、对二维坐标输入数据进行多层时空图卷积运算，在图上生成更高层次的特征图；然后输入到SoftMax分类器进行动作分类。6.根据权利要求5所述的一种基于时空图卷积神经网络的异常行为识别方法，其特征在于，所述S31包括以下步骤：目标检测算法采用YOLOv5，YOLOv5网络包括数据增强单元、CSPNet特征提取单元、PANet尺度单元、k
‑
means聚类算法单元、损失计算单元；数据增强单元包括：
①
对输入的图像进行色彩空间进行转换，由RGB转换为HSV；其中，H/S/V分量值分别为0.015/0.7/0.4；
②
对输入的图像进行亮度、颜色、对比度平衡调整；
③
对输入的图像进行水平和垂直平移；
④
对输入的图像进行缩小或放大处理，缩放因子为0.5.
⑤
对输入的图像进行剪切处理，剪切因子为0.3；
⑥
对输入的图像进行上下左右翻转处理，得到增强数据；CSPNet特征提取单元包括：CSPNet特征提取单元包括Focus单元、CBM单元、Bottleneck单元、Conv卷积单元、连接单元、BN单元、LeakyReLU激活单元；Focus单元，用于对增强后的源图像进行Focus操作，得到第一特征图；CBM单元，用于对第一特征图依次进行标准卷积操作、批量归一化操作和Mish函数激活操作，得到第二特征图；Bottleneck单元，用于对第二特征图进行Bottleneck操作，得到第三特征图；Bottleneck单元模块表示为：N
out
＝F(N
i
,(W
i
))+N
i
,1≤i≤L
‑
1；其中，i为整数，F(N
i
,(W
i
))表示待学习且为进一步学习的映射，具体表示为：k1＝F(0.5x)+x，k2＝F(k1)+x；其中，k
i
代表i层模块的输出；Conv卷积单元，用于对第三特征图进行标准卷积操作，得到第三特征图卷积结果；用于对第一特征图进行标准卷积操作，得到第一特征图卷积结果；连接单元，用于对第一特征图卷积结果和第三特征图卷积结果进行连接操作，得到连接处理结果；BN单元，用于对连接处理结果进行批量归一化操作，得到归一化特征数据；LeakyReLU激活单元，用于对归一化特征数据进行激活函数LeakyReLU操作，得到激活特征数据；CBM单元，用于对激活特征数据依次进行标准卷积操作、批量归一化操作和Mish函数激活操作，得到源图像特征图；PANet尺度单元包括：PANet尺度单元，用于融合源图像特征图，得到尺度为20的源图像特征图、尺度为32的源图像特征图、尺度为53的源图像特征图和尺度为80的源图像特征图；K
‑
means聚类算法单元包括：K
‑
means聚类算法单元，用于生成分别对应于四个尺度的源图像特征图的四组锚框，通过K
‑
means聚类算法根据四个尺度的源图像特征图得出目标检测结果，检测结果包括目标位置信息和类别信息；操作为：
①
随机选取K个点做为初始聚集的簇心(也可选择非样本点)，本发明中K＝4，最终将特征图分为四个尺度大小；
②
分别计算每个样本点到K个簇核心的欧式距离，找到离样本点最近的簇核心，将它归属到对应的簇；
③
将所有点M都归属到簇之后，M个点分为K个簇，重新计算每个簇的重心(平均距离中心)，将其定为新的“簇核心”；
④
反复迭代
②‑③
的计算过程，直到达到中止条件；上述损失计算单元具体包括：网络的损失由三部分组成：...

【专利技术属性】
技术研发人员：崔晓飞，石磊，刘岁成，于海波，李宁，
申请(专利权)人：河北华网计算机技术有限公司，
类型：发明
国别省市：