一种基于时空信息的暴力行为的识别报警方法技术

本发明专利技术公开一种基于时空信息的暴力行为的识别报警方法，包括如下步骤：构建物理层：采集动作视频并进行数据传输；构建数据处理层：对物理层中所得数据进行划分处理并生成动作特征图；根据数据处理层所得动作特征图计算人体运动中的时空特征信息；构建行为识别层：首先使用复合神经网络构建识别模型；然后对识别模型进行训练；最后将待识别数据输入训练后的识别模型中，得到输出结果；构建控制层：建立动作行为与报警关联库的匹配关系，得到自动识别指令，根据行为识别层的输出结果触发自动识别指令。本发明专利技术的报警识别方法为行为识别提供上下文信息从而有效区分相似动作，解决暴力行为识别滞后性问题，提高智能报警系统的可靠性和实时性。实时性。实时性。

【技术实现步骤摘要】
一种基于时空信息的暴力行为的识别报警方法


[0001]本专利技术属于行为识别领域，特别涉及一种基于时空信息的暴力行为的识别报警方法。

技术介绍

[0002]暴力行为的快速识别是避免可能造成社会、经济和生态损害的人员伤亡有力保障。基于手工特征的方法主要集中与制作局部或全局特征描述符以提取时空特征，其中空间特征主要是与速度和加速度等有关的运动特征。在识别的基本流程中，一般通过特征描述符提取特征，然后通过词袋法或主成分分析法除去特征中的冗余信息，最后送入支持向量机或随机森林模型中进行分类。
[0003]随着深度学习技术不断成熟以及大型暴力数据集的提出，深度卷积神经网络(Deep Convolution Neural Network,DCNN)在暴力行为识别任务上去的显著成绩，目前已经成为该领域的主要研究方向。不同于手工特征，深度学习技术透过数据集和神经网络自动学习时空特征吗，然后通过全连接层进行暴力分类。
[0004]最近，人们意识到CNN、RNN通常将骨骼序列表示为关节坐标的向量或应用卷积运算的伪图像，无法捕捉人体骨骼的空间结构，由于行为识别领域在人体行为识别技术上的快速发展，基于人体骨骼信息的行为识别准确率也在不断提高，在公共安全领域，基于人体骨骼信息动实时识别的监控报警系统目前还没有制作的标准，这是有待开发和解决的问题。现有的人体行为方法多侧重于从结果融合捕获人体运动时关节和骨骼的时空信息而忽略了训练时关节对骨骼信息的影响，从而忽略了很多潜在的动作特征。基于行为识别的暴力行为报警系统也往往因系统对于相似行为的误判而触发错误的报警指令。

技术实现思路

[0005]本专利技术的目的，在于提供一种基于时空信息的暴力行为的识别报警方法，通过对具有高度相关性的时空信息的计算，解决暴力行为识别滞后性问题，提高智能报警系统的可靠性和实时性。
[0006]为了达成上述目的，本专利技术的解决方案是：
[0007]一种基于时空信息的暴力行为的识别报警方法，包括如下步骤：
[0008]步骤1，构建物理层：采集动作视频并进行数据传输；
[0009]步骤2，构建数据处理层：接收物理层传输的数据，并对物理层中所得数据进行划分处理，得到动作特征图；
[0010]步骤3，根据数据处理层所得动作特征图计算人体运动中的时空特征信息；
[0011]步骤4，构建行为识别层：首先使用复合神经网络构建识别模型；然后对识别模型进行训练；最后将待识别数据输入训练后的识别模型中，得到输出结果；
[0012]步骤5，构建控制层：建立动作行为与报警关联库的匹配关系，得到自动识别指令，根据行为识别层的输出结果触发自动识别指令。
[0013]上述步骤1中，物理层包括摄像头、通信设备和基于深度摄像头的基础硬件设施；动作视频包括但不限于挥手、抬手、冲拳、踢腿的动作。
[0014]上述步骤2的具体内容是：定义输入的全局特征矩阵：
[0015]X∈R
C
×
V
×
T
[0016]其中V∈{v1,v2…
v
V
}表示顶点集合，C是通道数，T是帧数，R是样本数；
[0017]将人体骨骼划分为9个部位，包括：头部、上肢躯干、左臂、右臂、左手、右手、下肢、左腿和右腿，得到关节特征矩阵：
[0018]X∈R
N
×
C
×
T
[0019]其中X
p
表示对应划分部位的特征矩阵，N表示对应部分的关节数；
[0020]每个部位的特征信息表示为：
[0021][0022]其中，i＝1,2,
…
,V，f(.)表示聚合函数，P(i)表示每个部位的关节点的集合，V表示节点数，表示每个部位的特征，X
k
代表每个部分的初始特征矩阵。
[0023]上述步骤3中，首先构建特征提取网络：对步骤2所得动作特征图进行特征提取，再构建骨骼关节融合信息神经网络和通道分享神经网络计算人体运动中的时空特征信息。
[0024]构建上述骨骼关节融合信息神经网络的具体内容是：定义关节运动和骨骼运动之间的函数，公式如下所示：
[0025]Δx
′
j
＝f
j
(Δx
j
,x
b
)；
[0026]Δx
′
b
＝f
b
(Δx
b
,x
j
)；
[0027]其中，Δx
j
表示一个关节的信息，x
b
表示连接这个关节的骨骼向量，Δx
′
j
表示通过骨骼向量x
b
和对应的连接函数f
j
(.)所更新的x
j
相邻关节的运动信息，Δx
b
表示一个骨骼的信息；x
j
表示连接这个骨骼的关节向量，Δx
′
b
表示通过关节向量x
j
和对应的连接函数f
b
(.)所更新的x
b
相邻骨骼的运动信息；
[0028]通过关节和更新骨骼的信息生成新的运动动作特征，公式如下所示：
[0029][0030]其中，A
k
′
表示关节的邻接矩阵，A
k
′
＝A
k
+B
k
+C
k
∈R
n
×
n
，B
k
表示自适应的邻接矩阵，C
k
表示一个经过归一化的特征相关的邻接矩阵，V
k
′
是骨骼之间的邻接矩阵，V
k
′
＝V
k
+Y
k
+Z
k
∈R
n
×
n
，f(.)表示空间传递函数，W
k
表示可学习的权重，Y
k
表示骨骼自适应的邻接矩阵，Z
k
表示一个经过归一化的骨骼特征相关的邻接矩阵；
[0031]将融合好的关节点信息按固定帧数间隔输入到双向长短记忆网络，采取双层结构提取人体动作的时间信息，通过使用1
×
1的卷积下采样降低输入和输出的时间维度然后通过双向长短记忆网络获得时间上的关节和骨骼的运动信息，公式如下所示：
[0032]x
′
＝f
BL
‑2(f
BL
‑1(x
k
,W1),W2)k＝1,2,
…
,K
[0033]其中，f
BL
‑2(.)和f
BL
‑1(.)表示两个相同的双向长短记忆网络，W1和W2分别表示两个函数的权重。
[0034本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时空信息的暴力行为的识别报警方法，其特征在于，包括如下步骤：步骤1，构建物理层：采集动作视频并进行数据传输；步骤2，构建数据处理层：接收物理层传输的数据，并对物理层中所得数据进行划分处理，得到动作特征图；步骤3，根据数据处理层所得动作特征图计算人体运动中的时空特征信息；步骤4，构建行为识别层：首先使用复合神经网络构建识别模型；然后对识别模型进行训练；最后将待识别数据输入训练后的识别模型中，得到输出结果；步骤5，构建控制层：建立动作行为与报警关联库的匹配关系，得到自动识别指令，根据行为识别层的输出结果触发自动识别指令。2.如权利要求1所述的识别报警方法，其特征在于：所述步骤1中，物理层包括摄像头、通信设备和基于深度摄像头的基础硬件设施；动作视频包括但不限于挥手、抬手、冲拳、踢腿的动作。3.如权利要求1所述的识别报警方法，其特征在于，所述步骤2的具体内容是：定义输入的全局特征矩阵：X∈R
C
×
V
×
T
其中V∈{v1，v2…
v
V
}表示顶点集合，C是通道数，T是帧数，R是样本数；将人体骨骼划分为9个部位，包括：头部、上肢躯干、左臂、右臂、左手、右手、下肢、左腿和右腿，得到关节特征矩阵：X∈R
N
×
C
×
T
其中i＝1，2...I，X
p
表示对应划分部位的特征矩阵，N表示对应部分的关节数；每个部位的特征信息表示为：其中，i＝1，2，...，V，f(.)表示聚合函数，P(i)表示每个部位的关节点的集合，V表示节点数，表示每个部位的特征，X
k
代表每个部分的初始特征矩阵。4.如权利要求1所述的识别报警方法，其特征在于，所述步骤3中，首先构建特征提取网络：对步骤2所得动作特征图进行特征提取，再构建骨骼关节融合信息神经网络和通道分享神经网络计算人体运动中的时空特征信息。5.如权利要求4所述的识别报警方法，其特征在于，构建骨骼关节融合信息神经网络的具体内容是：定义关节运动和骨骼运动之间的函数，公式如下所示：Δx
′
j
＝f
j
(Δx
j
，x
b
)；Δx
′
b
＝f
b
(Δx
b
，x
j
)；其中，Δx
j
表示一个关节的信息，x
b
表示连接这个关节的骨骼向量，Δx
′
j
表示通过骨骼向量x
b
和对应的连接函数f
j
(.)所更新的x
j
相邻关节的运动信息，Δx
b
表示一个骨骼的信息；x
j
表示连接这个骨骼的关节向量，Δx
′
b
表示通过关节向量x
j
和对应的连接函数f
b
(.)所更新的x
b
相邻骨骼的运动信息；通过关节和更新骨骼的信息生成新的运动动作特征，公式如下所示：
其中，A
k
′
表示关节的邻接矩阵，A
k
′
＝A
k
+B
k
+C
k
∈R
n
×
n
，B
k
表示自适应的邻接矩阵，C
k
表示一个经过归一化的特征相关的邻接矩阵，V
k
′
是骨骼之间的邻接矩阵，V
k
′
＝V
k
+Y
k

【专利技术属性】
技术研发人员：黄倩，薛皓文，胡鹤轩，李畅，巫义锐，袁驰，
申请(专利权)人：南京河研创科技有限公司，
类型：发明
国别省市：