一种异常行为检测方法及其系统技术方案

本发明专利技术公开了一种异常行为检测方法，包括步骤：使用神经网络人体骨架提取模型，提取视频中的动态的人体骨骼关节点，形成骨骼数据集；通过ST‑GCN网络获得与骨骼相对应的更高级的行为特征图，即表面行为特征；将行为特征图输入到异常行为分类器模型中，匹配以识别行为类型。本发明专利技术还公开了一种异常行为检测系统，包括视频监控模块、网络模型集成模块。本发明专利技术可实现准确高效地处理多种人体行为与大量人体骨骼数据，自动识别视频监控中出现的异常行为。

An Abnormal Behavior Detection Method and Its System

【技术实现步骤摘要】
一种异常行为检测方法及其系统
本专利技术涉及智能识别领域，特别涉及一种异常行为检测方法及其系统。
技术介绍
人工智能时代已悄然到来，基于此背景下，智能识别更是当今世界的主题，人脸识别作为模式识别领域的热点研究问题受到了广泛的关注，异常行为的智能识别更是顺应了现在对公共安全的需求，均旨在提升生活实用领域的人工智能水平，建立具有适应性、资源效率的智能识别算法。目前监控系统往往只是对视频信号进行简单录制与传输，尚停留在监控人员对视频信号的人工监视和事后录像分析上，存在工作量巨大、异常事件响应速度慢或漏检漏报等不足。特别是对突发性异常事件的检测，由于异常行为发生的随机性大且无特定规律可寻，显然，这种依靠人工检测异常事件的方式已远远不能满足目前视频监控的需要，寻求一种能直接处理并识别的监控方法，迫在眉睫。市面上常用的危险人物检测只能够通过X光人工对刀具进行识别，或者使用传统算法对刀具进行检测，再由人工进行判断，非常繁琐且不方便。
技术实现思路
本专利技术的目的在于克服现有技术的缺点与不足，提供一种异常行为检测方法及其系统，此方法及其系统可实现准确高效地处理多种人体行为与大量人体骨骼数据，自动识别视频监控中出现的异常行为。本专利技术的目的通过以下的技术方案实现：一种异常行为检测方法，包括步骤：使用神经网络人体骨架提取模型，提取视频中的动态的人体骨骼关节点，形成骨骼数据集；通过ST-GCN(空间-时间图卷积)网络获得与骨骼相对应的更高级的行为特征图，即表面行为特征；将行为特征图输入到异常行为分类器模型中，匹配以识别行为类型；其中，所述人体骨架提取模型的建立步骤如下：提取训练集中的人体骨骼关节点，生成关节序列；堆叠RNN网络以提供每个时间步长的所有关节的级联坐标，分层RNN以模拟不同部位以及整个身体的动作，对关节点提取识别人物动作；通过视图自适应子网络确定观察视点，得到骨架数据；迭代训练以最小化损失函数，最终得到人体骨架提取模型；所述ST-GCN网络是基于使用双流递归时间动态和空间配置的神经网络人体骨架提取模型，进一步提取了动态的人体骨骼；所述异常行为分类器模型的建立步骤如下：针对想要识别的各种异常行为，提取人体骨骼关节点形成骨骼数据集作为训练集；用训练集训练Softmax分类器并最小化损失函数，得到区分不同异常行为的分类器模型。优选的，所述提取训练集中的人体骨骼关节点的具体步骤为：利用3D转换技术选取关节物理结构并获取人体在运动中的骨骼3D坐标；使用遍历方法将坐标关节图转换成矩阵参数，矩阵参数的顺序与访问顺序相同，从而提取视频人体骨骼关节点。优选的，所述堆叠RNN网络堆叠两层RNN，由于骨架序列的长度相对较长，故对所有层采用LSTM神经元。优选的，将人体骨骼分成五个部位，即两个手臂、两个腿和一个躯干；所述分层RNN将分层结构垂直分为两层：在第一层使用第一RNN，根据每个时间步关节的连接坐标来模拟每个骨骼部位的时间运动；在第二层，将不同部位的RNN输出连接起来，并采用第二RNN来模拟整个身体的运动。采用此结构更加简洁明了，并在使用soft-max-activation的logistic回归分类器之前不使用额外的完全连接层。优选的，所述通过视图自适应子网络确定观察视点，得到骨架数据的步骤具体为：在对应于第t帧的时隙处，利用skeletonVtas输入，利用LSTM子网的旋转分支子网和转换分支子网，学习旋转参数αt，βt，γt和转换参数dt以获得旋转矩阵Rt，以及对应于全局坐标系的转化矢量；具体计算公式为：(1)旋转参数：其中，是LSTM层的隐藏输出向量，其中包含LSTM中子数；Wr∈R3×N和br∈R3×1分别表示FC层的权重矩阵和偏移矢量；(2)转换参数：其中是其LSTM的隐藏输出向量，Wr∈R3×N和br∈R3×1表示FC层的权重矩阵和偏移向量；在第t帧的观察视角下，通过视图自适应递归图得到骨架的表示。更进一步的，所述视图自适应子网络结构为分离的两个LSTM层，并对分离的两层使用相同的骨架输入；其中的主LSTM网络从视图调节的骨架数据中从头到尾学习时间动态并执行特征映射以进行动作识别。优选的，所述异常行为分类器模型的建立步骤具体为：行为类别标签y＞2时，给定m个训练样本：{(x(1),y(1)),(x(2),y(2)),…,(x(m),y(m))}对于Softmax回归算法，输入特征为标记样本为y(i)∈{0,1,…k}；设定一个假设函数ζ：其中,θ表示引入的假设参数,则分类任务被转换为概率的计算：在实现Softmax回归的过程中，使用一个k×(n+1)的矩阵去代表θ：定义一个损失函数J，来判定分类的优劣性，并迭代优化损失函数；Softmax回归的损失函数为：Softmax回归求解：在获得了损失函数的定义后，使用迭代优化算法，将损失函数J(θ)优化，便可对Softmax回归进行求解，我们使用梯度下降的方法求解；经过求导，可以获得：其中是一个向量，它的第l个元素是J(θ)是θj的第l个分量的偏导；在得到了求导后的损失函数后，将其带入梯度下降等迭代优化算法中以优化J(θ)，获得异常行为分类器模型。所述Softmax回归是Logistic回归算法在多分类上的拓展，解决了Logistic回归只能适用于二分类的问题。更进一步的，在损失函数中引入权重衰减项，以解决Softmax回归容易出现多个解的问题，通过添加权重衰减项修改相应的损失函数：其中，λ是一个0到1范围内的随机常数；引入衰减项后，损失函数J(θ)变成了严格的凸函数，便可以保证有唯一最优解；新的损失函数的导数可以写为：同样的，将新的损失函数的导数代入迭代优化算法中，最小化J(θ)，得到一个可用的多分类模型。优选的，所述异常行为检测方法还包括：利用yolov3特征提取模型检测危险品；所述yolov3特征提取模型的训练由以下步骤训练得出：利用神经网络的卷积层对公共场所人物所携带的刀具进行识别，获取图片中的目标框；所述目标框是将需要检测的物体进行框定，但是会存在一个物体被多个目标框所框的问题，还有多个物体重合在一起导致的目标框重合；对目标框进行多标签分类，并利用FPN网络提取目标框特征，去除掉错误的目标框；最后进行预测(例如边界框的坐标、类别标签、目标框的重合度等)，迭代训练以最小化损失函数，最终得到yolov3特征提取模型。更进一步的，当视频中检测出危险品时，直接判定视频中存在异常行为，而无需再重复异常行为检测。更进一步的，所述yolov3特征提取模型包括上采样层、75个卷积层，通过步幅为2的卷积层对特征图进行下采样；上述yolov3特征提取模型的卷积层核心尺寸为1×1×(B×(5+C))；其中B代表每个单元可以预测的边界框数量，每个边界框都有5+C个属性；所述yolov3特征提取模型还包括shortcutconnection结构；该yolov3卷积层没有用任何形式的池化，以防止低级特征丢失利用1×1大小卷积核的卷积层来替代yolov3卷积网络中全连接层。更进一步的，所述获取目标框的具体步骤为：在三个(num＝3)不同的尺度预测boxes，对每个边界框预测四个坐标值分别是tx,ty,tw和th；每张被识别的图被划分成S×S个网格cell，对于预测的cell，根据图像左上角的本文档来自技高网...

【技术保护点】
1.一种异常行为检测方法，其特征在于，包括步骤：使用神经网络人体骨架提取模型，提取视频中的动态的人体骨骼关节点，形成骨骼数据集；通过ST‑GCN网络获得与骨骼相对应的更高级的行为特征图，即表面行为特征；将行为特征图输入到异常行为分类器模型中，匹配以识别行为类型；其中，所述人体骨架提取模型的建立步骤如下：提取训练集中的人体骨骼关节点，生成关节序列；堆叠RNN网络以提供每个时间步长的所有关节的级联坐标，分层RNN以模拟不同部位以及整个身体的动作，对关节点提取识别人物动作；通过视图自适应子网络确定观察视点，得到骨架数据；迭代训练以最小化损失函数，最终得到人体骨架提取模型；所述ST‑GCN网络是基于使用双流递归时间动态和空间配置的神经网络人体骨架提取模型，进一步提取了动态的人体骨骼；所述异常行为分类器模型的建立步骤如下：针对想要识别的各种异常行为，提取人体骨骼关节点形成骨骼数据集作为训练集；用训练集训练Softmax分类器并最小化损失函数，得到区分不同异常行为的分类器模型。

【技术特征摘要】
1.一种异常行为检测方法，其特征在于，包括步骤：使用神经网络人体骨架提取模型，提取视频中的动态的人体骨骼关节点，形成骨骼数据集；通过ST-GCN网络获得与骨骼相对应的更高级的行为特征图，即表面行为特征；将行为特征图输入到异常行为分类器模型中，匹配以识别行为类型；其中，所述人体骨架提取模型的建立步骤如下：提取训练集中的人体骨骼关节点，生成关节序列；堆叠RNN网络以提供每个时间步长的所有关节的级联坐标，分层RNN以模拟不同部位以及整个身体的动作，对关节点提取识别人物动作；通过视图自适应子网络确定观察视点，得到骨架数据；迭代训练以最小化损失函数，最终得到人体骨架提取模型；所述ST-GCN网络是基于使用双流递归时间动态和空间配置的神经网络人体骨架提取模型，进一步提取了动态的人体骨骼；所述异常行为分类器模型的建立步骤如下：针对想要识别的各种异常行为，提取人体骨骼关节点形成骨骼数据集作为训练集；用训练集训练Softmax分类器并最小化损失函数，得到区分不同异常行为的分类器模型。2.根据权利要求1所述的异常行为检测方法，其特征在于，所述提取训练集中的人体骨骼关节点的具体步骤为：利用3D转换技术选取关节物理结构并获取人体在运动中的骨骼3D坐标；使用遍历方法将坐标关节图转换成矩阵参数，矩阵参数的顺序与访问顺序相同，从而提取视频人体骨骼关节点。3.根据权利要求1所述的异常行为检测方法，其特征在于，所述堆叠RNN网络堆叠两层RNN，对所有层采用LSTM神经元。4.根据权利要求1所述的异常行为检测方法，其特征在于，将人体骨骼分成五个部位，即两个手臂、两个腿和一个躯干；所述分层RNN将分层结构垂直分为两层：在第一层使用第一RNN，根据每个时间步关节的连接坐标来模拟每个骨骼部位的时间运动；在第二层，将不同部位的RNN输出连接起来，并采用第二RNN来模拟整个身体的运动。5.根据权利要求1所述的异常行为检测方法，其特征在于，所述通过视图自适应子网络确定观察视点，得到骨架数据的步骤具体为：在对应于第t帧的时隙处，利用skeletonVtas输入，利用LSTM子网的旋转分支子网和转换分支子网，学习旋转参数αt，βt，γt和转换参数dt以获得旋转矩阵Rt，以及对应于全局坐标系的转化矢量；具体计算公式为：(1)旋转参数：其中，是LSTM层的隐藏输出向量，其中包含LSTM中子数；Wr∈R3×N和br∈R3×1分别表示FC层的权重矩阵和偏移矢量；(2)转换参数：其中是其LSTM的隐藏输出向量，Wr∈R3×N和br∈R3×1表示FC层的权重矩阵和偏移向量；在第t帧的观察视角下，通过视图自适应递归图得到骨架的表示。6.根据权利要求5所述的异常行为检测方法，其特征在于所述视图自适应子网络结构为分离的两个LSTM层，并对分离的两层使用相同的骨架输入；其中的主LSTM网络从视图调节的骨架数据中从头到尾学习时间动态并执行特征映射以进行动作识别。7.根据权利要求1所述的异常行为检测方法，其特征在于，所述异常行为分类器模型的建立步骤具体为：行为类别标签y＞2时，给定m个训练样本：...

【专利技术属性】
技术研发人员：伍冯洁，潘伟旋，詹逸，李锦韬，林佳翰，郑振勤，黄成浩，
申请(专利权)人：广州大学，
类型：发明
国别省市：广东,44