一种基于双流动力学特征的人体行为识别方法技术

本发明专利技术公开了一种基于双流动力学特征的人体行为识别方法，包括：先提取人体骨骼关节点的空间三维信息，得到人体关节点序列，并通过人体关节点序列转化为人体骨骼序列数据集。构建动力学特征提取模块，并通过构建的空间图卷积模块和时间卷积模块和动力学特征提取模块来构建动力学时空图卷积网络。最后利用动力学时空图卷积网络构建双流动力学时空图卷积网络，将人体关节点序列转化为人体骨骼序列作为双流输入，最终将双流加权融合实现人体行为识别分类。本发明专利技术解决了现有技术对偏向在速度表达和骨架表达的一些行为识别准确率低的问题，通过加权融合互相弥补各自单流网络的不足，提高了对视频行为识别的准确率。提高了对视频行为识别的准确率。提高了对视频行为识别的准确率。

【技术实现步骤摘要】
一种基于双流动力学特征的人体行为识别方法


[0001]本专利技术属于特征识别方向领域，尤其涉及一种基于双流动力学特征的人体行为识别方法。

技术介绍

[0002]随着人工智能的不断发展，人工智能已经涉及到了工业、医疗、金融、交通、教育、安保等领域，而人体行为识别已经成为目前人工智能领域的一大重要任务。同时人体行为识别监控已经逐步应用于生活中各个领域，极大的减轻了工作人员的负担。
[0003]现有技术中，主流的行为识别方法大多基于骨架数据的行为识别方法。由于人体骨架没有复杂的背景和环境噪声，因此基于骨架数据的行为识别方法具有很强的适应性，近年来，越来越多的基于骨架与图卷积的人体行为识别方法被提出，如基于图卷积的ST
‑
GCN网络、AS
‑
GCN网络、AGC
‑
LSTM网络等等。
[0004]骨骼数据指的是各个骨架连接的关节点信息。其动力学特征可通过在两个时间帧下的关节点信息获得。骨骼数据的二阶信息为骨骼的长度和方向，其对于动作识别自然更具信息性和区分性。与关节点信息类似，其在时间上的方向与长度变化同样可表达为动力学特征。许多方法常常忽视了关节点信息的动力学特征与骨骼二阶信息的动力学特征在人体行为识别中的作用，在对许多偏向于速度表达和骨架表达的动作上会对识别结果造成一定程度的影响，导致识别准确率不高。

技术实现思路

[0005]本专利技术的目的在于提供一种基于双流动力学特征的人体行为识别方法，由关节点与骨架的动力学特征融合，可以有效提高对人体行为识别的效果。
[0006]为了达到上述目的，在本专利技术提供如下的技术方案：一种基于双流动力学特征的人体行为识别方法，包括如下步骤：
[0007]S1、根据摄像机拍摄人体行为视频作为人体行为识别样本，并对每种人体行为类别进行标注；
[0008]S2、使用Openpose算法提取人体骨骼关节点的空间三维信息，制作行为分类关节点数据集；
[0009]S3、将分类关节点数据集转化为人体骨骼序列数据集；
[0010]S4、构建动力学提取模块，将输入数据转化成动力学特征；
[0011]S5、构建空间图卷积模块和时间卷积模块；
[0012]S6、将关节和骨骼动力学特征作为双流并行通过步骤S5搭建的空间图卷积模块与时间卷积模块后加权融合实现行为识别分类。
[0013]3、根据权利要求1所述的一种基于双流动力学特征的人体行为识别方法，其特征在于，所述S2的具体步骤包括：
[0014]使用Openpose工具对单帧的图片进行处理，提取图片中的人体骨骼关节点的三维
坐标信息；
[0015]所述人体行为视频中每个人体25个关节点，每个关节点包括3个维度坐标点，每一个类别包含T帧图片，将每个视频对应图片帧的骨架按照时间顺序堆叠在一起，形成大小为(C，N，T)的张量，其中C＝3表示三维坐标X,Y,Z，N表示25个关节点，T表示视频帧数，所述视频帧数为骨骼点三维坐标特征序列数据；
[0016]用特征矩阵V∈R
C
×
N
×
T
表示人体关节点的特征信息，对于给定的视频骨架序列，所述关节点S的公式如下：
[0017]S＝{V
k,
|k＝1,
…
,N,t＝1,
…
,T}
[0018]其中V
k,
描述为视频中的人在第t时刻的第k个关节点。
[0019]进一步地，所述S3具体为：
[0020]定义靠近骨骼重心的关节为源关节，远离重心的关节为目标关节；
[0021]每个骨骼都表示为从当前源关节指向当前目标关节的向量，假设骨骼的源关节V
1,t
位置为p
1,t
＝(x
1,
,y
1,
,z
1,
)，目标关节V
2,
位置为p
2,
＝(x
2,
,y
2,
,z
2,
)，则骨骼的向量计算公式为：
[0022]M
v1,
＝x
2,
‑
x
1,
,y
2,
‑
y
1,t
,z
2,
‑
z
1,
)
[0023]在中央关节设计一个值为0的空骨；
[0024]用特征矩阵M∈R
C
×
N
×
T
表示人体骨骼的特征信息，对于给定的视频骨架序列，其骨骼的公式描述如下：
[0025]P＝{M
k,
|k＝1,
…
,N,t＝1,
…
,T}
[0026]其中，M
kt
表示视频中的人在第t时刻的第k个骨骼。
[0027]进一步地，所述动力学提取模块的具体步骤为：
[0028]对于给定的关节点V
k,
，用空间三维信息p
k,
＝(x
k,
,y
k,
,z
k,
)∈R3和速度信息v
k,
来表示动力学，其中x
k,
,y
k,
,z
k,
分别表示其第t帧的第k个关节点中三个维度的坐标信息；
[0029]速度信息为第t帧与第t
‑
1帧的差值，速度信息v
k，t
计算公式为：
[0030]v
k,t
＝(p
k,t
‑
p
k,t
‑1)
[0031]在第0帧填补0元素扩充矩阵，使当前结构与位置信息相同；
[0032]将位置信息以及速度信息进行编码，嵌入到高维矩阵中，则高维嵌入计算公式为：
[0033][0034]其中为权重矩阵，C1是关节数据的尺寸，ReLu代表线性整流激活函数，b1和b2为偏置向量。
[0035]将高维位置信息和高维速度信息进行相加融合得到关节点动力学特征z
k，t
，其计算公式为：
[0036][0037]其中z
k,t
表示融合了高维位置信息和高位速度信息后的关节点动力学特征。
[0038]对于骨骼M
k,t
，将骨骼的三维向量信息p
′
k,t
＝(x
′
k,t
,y
′
k,t
,z
′
k,t
)∈R3和向量变化速度信息v
′
k,t
＝(p
′
k,t
‑
p
′
k,t
‑1)，进行高维嵌入相加融合得到骨骼动力学特征z<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双流动力学特征的人体行为识别方法，其特征在于，包括如下步骤：S1、根据摄像机拍摄人体行为视频作为人体行为识别样本，并对每种人体行为类别进行标注；S2、使用Openpose算法提取人体骨骼关节点的空间三维信息，制作行为分类关节点数据集；S3、将分类关节点数据集转化为人体骨骼序列数据集；S4、构建动力学提取模块，将输入数据转化成动力学特征；S5、构建空间图卷积模块和时间卷积模块；S6、将关节和骨骼动力学特征作为双流并行通过步骤S5搭建的空间图卷积模块与时间卷积模块后加权融合实现行为识别分类。2.根据权利要求1所述的一种基于双流动力学特征的人体行为识别方法，其特征在于，所述S2的具体步骤包括：使用Openpose工具对单帧的图片进行处理，提取图片中的人体骨骼关节点的三维坐标信息；所述人体行为视频中每个人体25个关节点，每个关节点包括3个维度坐标点，每一个类别包含T帧图片，将每个视频对应图片帧的骨架按照时间顺序堆叠在一起，形成大小为(C，N，T)的张量，其中C＝3表示三维坐标X,Y,Z，N表示25个关节点，T表示视频帧数，所述视频帧数为骨骼点三维坐标特征序列数据；用特征矩阵V∈R
C
×
N
×
T
表示人体关节点的特征信息，对于给定的视频骨架序列，所述关节点S的公式如下：S＝{V
k,
|k＝1,
…
,N,t＝1,
…
,T}其中V
k,
描述为视频中的人在第t时刻的第k个关节点。3.根据权利要求2所述的一种基于双流动力学特征的人体行为识别方法，其特征在于，所述S3具体为：定义靠近骨骼重心的关节为源关节，远离重心的关节为目标关节；每个骨骼都表示为从当前源关节指向当前目标关节的向量，假设骨骼的源关节V
1,t
位置为p
1,t
＝(x
1,
,y
1,
,z
1,
)，目标关节V
2,
位置为p
2,
＝(x
2,
,y
2,
,z
2,
)，则骨骼的向量计算公式为：M
v1，v2
＝(x
2，t
‑
x
1，t
，y
2，t
‑
y
1，t
，z
2，t
‑
z
1，t
)在中央关节设计一个值为0的空骨；用特征矩阵M∈R
C
×
N
×
T
表示人体骨骼的特征信息，对于给定的视频骨架序列，其骨骼的公式描述如下：P＝{M
k，t
|k＝1，...，N，t＝1，...，T}其中，M
kt
表示视频中的人在第t时刻的第k个骨骼。4.根据权利要求3所述的一种基于双流动力学特征的人体行为识别方法，其特征在于，所述动力学提取模块的具体步骤为：对于给定的关节点V
k，t
，用空间三维信息p
k，t
＝(x
k，t
，y
k，t
，z
k，t
)∈R3和速度信息v
k，t
来表示动力学，其中x
k，t
，y
k，t
，z
k，t
分别表示其第t帧的第k个关节点中三个维度的坐标信息；速度信息为第t帧与第t
‑
1帧的差值，速度信息v
k，t
计算公式为：v
k，t
＝(p
k，t
‑
P
k，t
‑1)
在第0帧填补0元素扩充矩阵，使当前结构与位置信息相同；将位置信息以及速度信息进行编码，嵌入到高维矩阵中，则高维嵌入计算公式为：其中为权重矩阵，C1是关...

【专利技术属性】
技术研发人员：曹忠，郑锐，赵文静，尚文利，胡伟俊，程有勇，
申请(专利权)人：广州大学，
类型：发明
国别省市：