基于人体姿态矫正的注意力时空图卷积网络行为识别方法技术

本发明专利技术公开了一种基于人体姿态矫正的注意力时空图卷积网络行为识别方法，包括以下步骤：构建基于卷积神经网络的姿态矫正模块，对人体姿态数据进行矫正，通过将补偿值加到原始数据上，达到修正的效果；构建多重语义输入模块，对修正后的人体姿态数据进行特征提取，得到关节点，骨骼信息和速度信息；将关节点，骨骼信息以及速度信息对应的多路通道整合为一路数据以进行特征融合；使用时空图卷积网络结合注意力机制，并引入残差结构，对融和后的特征进行训练测试，最后通过softmax分类器获得识别结果。本发明专利技术有益效果是有效改善了由于人体姿态数据误差或缺失导致行为识别结果不准确的问题，进而提升了行为识别的准确率。进而提升了行为识别的准确率。进而提升了行为识别的准确率。

【技术实现步骤摘要】
基于人体姿态矫正的注意力时空图卷积网络行为识别方法


[0001]本专利技术涉及人体行为识别
，尤其涉及一种基于人体姿态矫正的注意力时空图卷积网络行为识别方法。

技术介绍

[0002]随着智能人机交互技术的不断发展，对于人类行为的识别逐渐引起了计算机领域和人工智能领域的广泛关注。行为识别时视频监控、人机交互等场景中的重要组成部分。通过人体的关节点信息，可以对人体行为进行识别和预测，对于实现和谐智能的人机交互具有重要意义。
[0003]基于关节点信息的行为识别目前已经取得了很大的进展。目前行为识别领域主流的方法是深度学习，包括卷积神经网络，循环神经网络以及图卷积网络，近年来的许多方法都取得了很好的识别效果。但在实际场景下由于人体姿态数据存在遮挡和偏移，因而会对识别结果造成一定程度的影响，影响识别的准确率。

技术实现思路

[0004]为了克服人体姿态数据中的遮挡和偏移对行为识别结果准确率的影响，本专利技术提供了一种基于人体姿态矫正的图卷积网络识别方法。
[0005]根据本专利技术的第一方面，一种基于人体姿态矫正的注意力时空图卷积网络行为识别方法，包括以下步骤：
[0006]S1：构建基于卷积神经网络的姿态矫正模块，输入为三维的人体姿态数据，即三维空间坐标(x,y,z)，输出为对应的补偿值(Δx,Δy,Δz)，将补偿值添加到原始数据得到修正后的人体姿态数据；
[0007]S2：构建多重语义输入模块，输入为修正后的人体姿态数据，进行特征提取后获得关节点、骨骼信息和速度信息；
[0008]S3：将关节点、骨骼信息和速度信息对应的多路通道整合为一路数据以进行特征融合，得到融合后的特征；
[0009]S4：使用时空图卷积网络结合注意力机制，引入残差网络结构，得到残差图卷积模块，将融合后的特征输入残差图卷积模块中，进行训练测试，通过softmax分类器获得行为识别结果。
[0010]优选地，所述姿态矫正模块包括：依次连接的第一卷积层、第一图卷积层、时间卷积层、第二图卷积层和第二卷积层；
[0011]所述第一卷积层和所述第二卷积层大小为1*1。
[0012]优选地，步骤S1具体包括：
[0013]S1.1：构建基于卷积神经网络的姿态矫正模块，输入三维的人体姿态数据，即三维空间坐标(x,y,z)；
[0014]S1.2：通过时间卷积层学习人体姿态数据中关节点随时间变化的时间域特征，在
一段人体行为视频序列当中，通过将时空序列变为类似图片的传统卷积层，由于通道保持一致，图像的通道、宽和高正好对应关节点的特征帧数、特征数和关节数，每完成一次卷积，便向后推后一帧，直至整个序列完成卷积；
[0015]S1.3：通过第一图卷积层和第二图卷积层引入人体关节点连接图进行卷积来聚合特征，获得三维空间坐标(x,y,z)的补偿值，将补偿值和原始的三维空间坐标(x,y,z)相加得到修正后的人体姿态数据。
[0016]优选地，步骤S1.3具体包括：
[0017]每一轮卷积过程当中，对每一个关节点采取如下公式计算：
[0018][0019]其中，f
out
(v
i
)表示关节点v
i
的输出特征，f
in
(v
j
)表示关节点v
j
的输入特征w(l
i
(v
j
))为权值函数，l
i
为一种映射，其将邻域中的节点映射到其子集标签，B(v
i
)表示关节点v
i
的所有距离为1，即邻接节点的集合，Z
ij
为归一化项，其等于相应子集的个数；对于任意一个关节点，其邻接点为在预置的人体关节点连接图中相连的点；
[0020]其中一个图卷积层的输入输出表示为：
[0021][0022]其中，f
out
和f
in
分别为输出和输入特征，M＝∑
j
(A+I)，A为邻接矩阵，I代表自连接，W为所有权值卷积得到的权重矩阵，通过边的权值对节点进行加权平均得到；
[0023]经过上述网络处理后，获得三维空间坐标(x,y,z)的补偿值(Δx,Δy,Δz)，将补偿值和原始的三维空间坐标(x,y,z)相加得到修正后的人体姿态数据V：
[0024]V＝(x+Δx,y+Δy,z+Δz)。
[0025]优选地，步骤S2具体包括：
[0026]S2.1：对人体姿态数据的关节点定义如下：
[0027]s＝{V
i,t
|i＝1,2...,N；t＝1,2,...,T}
[0028]其中，T为序列中的总帧数，N为总关节点数，V
i,t
表示t时刻的关节点i，由此获得人体各个关节点对应的坐标信息；
[0029]S2.2：根据获得的人体关节点坐标信息，将两个关节点中靠近人体重心的点定为源关节点，其坐标为V
i,t
＝(x
i,t
,y
i,t
,z
i,t
)，远离人体重心的点定为目标关节点，其坐标为V
j,t
＝(x
j,t
,y
j,t
,z
j,t
)，通过同一帧内目标关节点和源关节点作差获得骨骼的长度以及方向信息：
[0030]P
i,j,t
＝V
j,t
‑
V
t,t
＝(x
j,t
‑
x
i,t
,y
j,i
‑
y
i,t
,z
j,t
‑
z
i,t
)
[0031]S2.3：根据获得的人体关节点坐标信息，对相邻帧间同一关节点的坐标进行作差获得代表时序信息的速度值，定义在t帧的关节点坐标为V
i,t
＝(x
i,t
,y
i,t
,z
i,t
)，定义在t+1帧的关节点坐标为V
i,t+1
＝(x
i,t+1
,y
i,t+1
,z
i,t+1
)，因此t帧的关节点和t+1帧的关节点之间的速度信息表示为：
[0032]Q
i,t,t+1
＝V
i,t
‑
V
i+1,t
＝(x
i,t
‑
x
i,t+1
,y
i,t
‑
y
i,t+1
,z
i,t
‑
z
i,t+1
)。
[0033]优选地，步骤S3中，所述将关节点、骨骼信息和速度信息对应的多路通道整合为一路数据以进行特征融合，融合后的特征X具体的计算本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人体姿态矫正的注意力时空图卷积网络行为识别方法，其特征在于，包括以下步骤：S1：构建基于卷积神经网络的姿态矫正模块，输入为三维的人体姿态数据，即三维空间坐标(x,y,z)，输出为对应的补偿值(Δx,Δy,Δz)，将补偿值添加到原始数据得到修正后的人体姿态数据；S2：构建多重语义输入模块，输入为修正后的人体姿态数据，进行特征提取后获得关节点、骨骼信息和速度信息；S3：将关节点、骨骼信息和速度信息对应的多路通道整合为一路数据以进行特征融合，得到融合后的特征；S4：使用时空图卷积网络结合注意力机制，引入残差网络结构，得到残差图卷积模块，将融合后的特征输入残差图卷积模块中，进行训练测试，通过softmax分类器获得行为识别结果。2.如权利要求1所述的注意力时空图卷积网络行为识别方法，其特征在于，所述姿态矫正模块包括：依次连接的第一卷积层、第一图卷积层、时间卷积层、第二图卷积层和第二卷积层；所述第一卷积层和所述第二卷积层大小为1*1。3.如权利要求2所述的注意力时空图卷积网络行为识别方法，其特征在于，步骤S1具体包括：S1.1：构建基于卷积神经网络的姿态矫正模块，输入三维的人体姿态数据，即三维空间坐标(x,y,z)；S1.2：通过时间卷积层学习人体姿态数据中关节点随时间变化的时间域特征，在一段人体行为视频序列当中，通过将时空序列变为类似图片的传统卷积层，由于通道保持一致，图像的通道、宽和高正好对应关节点的特征帧数、特征数和关节数，每完成一次卷积，便向后推后一帧，直至整个序列完成卷积；S1.3：通过第一图卷积层和第二图卷积层引入人体关节点连接图进行卷积来聚合特征，获得三维空间坐标(x,y,z)的补偿值，将补偿值和原始的三维空间坐标(x,y,z)相加得到修正后的人体姿态数据。4.如权利要求3所述的注意力时空图卷积网络行为识别方法，其特征在于，步骤S1.3具体包括：每一轮卷积过程当中，对每一个关节点采取如下公式计算：其中，f
out
(v
i
)表示关节点v
i
的输出特征，f
in
(v
j
)表示关节点v
j
的输入特征w(l
i
(v
j
))为权值函数，l
i
为一种映射，其将邻域中的节点映射到其子集标签，B(v
i
)表示关节点v
i
的所有距离为1，即邻接节点的集合，Z
ij
为归一化项，其等于相应子集的个数；对于任意一个关节点，其邻接点为在预置的人体关节点连接图中相连的点；其中一个图卷积环节的输入输出表示为：
其中，f
out
和f
in
分别为输出和输入特征，M＝∑
j
(A+I)，A为邻接矩阵，I代表自连接，W为所有权值卷积得到的权重矩阵，通过边的权值对节点进行加权平均得到；经过上述网络处理后，获得三维空间坐标(x,y,z)的补偿值(Δx,Δy,Δz)，将补偿值和原始的三维空间坐标(x,y,z)相加得到修正后的人体姿态数据V：V＝(x+Δx,y+Δy,z+Δz)。5.如权利要求1所述的注意力时空图卷积网络行为识别方法，其特征在于，步骤S2具体包括：S2.1：对人体姿态数据的关节点定义如下：s＝{V
i,t
|i＝1,2...,N；t＝1,2,...,T}其中，T为序列中的总帧数，N为总关节点数，V
i,t
表示t时刻的关节点i，由此获得人体各个关节点对应的坐标信息；S2.2：根据获得的人体关节点坐标信息，将两个关节点中靠近人体重心的点定为源关节点，其坐标为V
i,t
＝(x
i,t
,y
i,t
,z
i,t
)，远离人体重心的点定为目标关节点，其坐标为V
j,t
＝(x
j,t
,y
j,t
,z
j,t
)，通过同一帧内目标关节点和源关节点作差获得骨骼的长度以及方向信息：P
i,j,t
＝V
j,t
‑
V
i,t
＝(x
j,t
‑
x
i,t
,y
j,t
‑
y
i,t
,z
j,t
...

【专利技术属性】
技术研发人员：陈略峰，郑彪，吴敏，李敏，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：