基于图注意力卷积神经网络的人体3D骨骼行为识别方法技术

基于图注意力卷积神经网络的人体3D骨骼行为识别方法，使用批处理层将3D骨骼数据进行预处理，得到归一化的数据并作为多头图注意力模块的输入，通过图注意力模块得到图注意力矩阵；将图注意力矩阵作为类邻接矩阵参与到计算空域图卷积的过程当中，提取空域的高阶特征，之后将空域图注意力卷积的输出特征进行时域图卷积操作，得到输出结果；输出结果经过全连接层、全局平均池化后送入softmax分类器中进行分类并得到最终预测结果。本方法在捕捉空域特征时引入了图注意力机制获取图注意力矩阵，能够完全依赖于3D骨骼数据学习不同动作下唯一的图拓扑结构，而不局限于先验的人体的拓扑结构。提高了网络的识别性能，增加了网络的灵活性和泛化能力。活性和泛化能力。活性和泛化能力。

【技术实现步骤摘要】
基于图注意力卷积神经网络的人体3D骨骼行为识别方法


[0001]本专利技术涉及一种基于图注意力卷积网络的人体3D骨骼行为识别方法，具体涉及一种基于人体3D骨骼行为识别深度学习方法，属于计算机视觉领域。

技术介绍

[0002]人体行为识别技术是计算机视觉领域中被广泛研究的热点问题。对人体动作进行分析和理解在众多现实领域，如智能监控系统、人机交互、虚拟现实等领域，都具有广泛的应用价值。
[0003]随着计算机信息的蓬勃发展和视频采集技术的不断先进，许多方法开始专注于对3D 骨骼进行行为识别，而不再基于传统的2D相机所采集视频进行研究。目前，在3D骨骼行为识别领域中，占据主要地位的研究方法是基于深度学习的方法。基于深度学习的方法主要有三个流派，分别是基于卷积神经网络的、基于循环神经网络的和基于图卷积神经网络的，其中基于图卷积网络的方向是当前研究的热点。
[0004]基于图卷积的3D骨骼行为识别方法主要思想是提取和融合时空信息，只考虑节点在一阶邻域的信息传播，而忽略了全局节点的影响。在这种情况下，具有复杂时空关系的行为就不能得到有效的表达。同时，不同动作所涉及到的骨骼关键点也是不同的，仅仅根据骨骼关键点之间的连接来决定关键点的重要程度往往不能很好地描述动作图的拓扑结构。综上，对于人体3D骨骼行为识别方法进行进一步改进是有必要性的。

技术实现思路

[0005]本专利技术的目的是在于解决现有的图卷积识别方法依赖人体结构先验知识、无法有效的描述人体3D骨骼图的拓扑结构的问题，并提出了一种基于图注意力卷积神经网络的人体3D骨骼行为识别方法。该方案使用了图卷积的思想，引入了图注意力矩阵，实现特征增强，能够完成对3D骨骼的识别，提高了行为识别的准确率。
[0006]本专利技术的技术方案是一种基于图注意力卷积神经网络的人体3D骨骼行为识别方法，包括以下步骤：
[0007]步骤1：将3D骨骼关节点数据输入一个批归一化层中，进行数据的归一化处理，输出归一化的骨骼数据f
in
；
[0008]步骤2：将归一化处理过的数据f
in
输入图注意力模块得到注意力矩阵T，矩阵中的元素反映不同关节点在不同动作内的关键程度；注意力矩阵的计算方式为：
[0009][0010]其中T
ij
表示是矩阵T第i行第j列的元素值，a表示注意力映射函数，是一个行向量，a
T
表示a的转置矩阵，W是权重矩阵，[
·
||
·
]表示对两个节点的特征进行连接，v
ti
是第t时间帧下的第i个节点的特征，v
tj
是第t时间帧下的第j个节点的特征，而且第j个节点是第个
节点的邻居节点，e
ti
是第t时间帧下的第i个节点，D(e
ti
)是节点e
ti
的邻域，第p个节点表示邻域D(e
ti
)中的节点，在t时间帧下表示为e
tp
；将图注意力模块扩展到多头机制，即使用多个注意力模块计算多个图注意力矩阵取均值，得到最后的参与运算的图注意力矩阵；
[0011]步骤3：将多头注意力机制下计算得到的注意力矩阵T与邻接矩阵A和数据驱动型矩阵B在基于空间构型划分的邻域下相加的结果作为特征提取矩阵，利用空间图卷积公式进行空间内高层特征提取；在空间图卷积后，还有批归一化层和一个ReLU非线性激活层；
[0012]步骤4：空域图卷积的输出结果作为时域图卷积的输入，在时域上进行特征提取和融合，时域图卷积中的卷积操作是二维卷积；同样地，在时域图卷积之后，也有一个批归一化层和一个ReLU非线性激活层；
[0013]步骤5：最后再经过一个全连接层和一个全局平均池化层后，使用softmax分类器对输出特征进行分类预测，得到骨骼关节点数据的预测结果。
[0014]本专利技术使用了图注意力机制生成图注意力矩阵，可以根据不同关节对于不同动作的重要程度学习到不同的权重系数，这个系数是注意力矩阵的组成元素，称为归一化的注意力系数。通过对传统的图卷积网络中加入新的注意力矩阵，可以使得网络更好的学习骨骼关节点之间的联系，达到了特征增强的效果，也实现了识别准确率的提升。
附图说明
[0015]图1为本专利技术的基于图注意力卷积神经网络的人体3D骨骼行为识别方法的结构图。
[0016]图2为多个图注意力卷积模块生成图注意力矩阵的结构图。
[0017]图3为图注意力卷积网络空间特征提取融合的结构图。
具体实施方案
[0018]下面结合具体实例以及附图详细说明本专利技术的具体实施方案。
[0019]步骤1：将原始的3D骨骼关节点数据f输入一个批归一化(Batch Normalization，BN) 层。BN层通过对3D骨骼关节点数据三个维度上的特征归一化，得到三个维度特征均值为0，方差为1的然后通过两个参数γ、β对数据做变换重构即之后输出归一化的骨骼数据f
in
，其中参数γ和β在训练过程中使用梯度下降法进行优化。
[0020]步骤2：首先将归一化处理过的数据f
in
输入与权值矩阵W相乘进行线性变化，然后利用图注意力映射函数a将线性变化后的数据映射成一个实数，这个实数称为注意力系数，之后将注意力系数通过softmax函数做归一化处理，得到归一化后的注意力系数。假设骨骼图中有N个节点，任意两节点之间都可以计算出一个反应两点之间关联程度的归一化注意力系数，将归一化的注意力系数组成一个N
×
N的矩阵，称为图注意力矩阵T。为了提高模型的拟合能力，使用多头注意力机制，即多个注意力映射函数生成多个图注意力矩阵，并对多个图注意力矩阵进行平均操作得到最终的图注意力矩阵。
[0021]步骤3：多头注意力机制下的图注意力矩阵T与图邻接矩阵A和数据驱动型矩阵B在基于空间构型划分的邻域下相加的结果作为特征提取矩阵，其中，图邻接矩阵A∈R
N
×
N
中元素值由0、1组成(元素值为1表示行列处两节点相连)，数据驱动型矩阵B∈R
N
×
N
在训练前随机初始化，并在训练过程中优化。使用基于空间构型的邻域划分策略，将节点的一阶邻域划分
为三个部分，然后利用空间图卷积公式进行空间特征提取，其中f
sout
为空域图卷积的输出，W
k
为权值矩阵，在训练过程中优化，K
v
为关节点的按照空间构型划分出的邻域个数，一般为3，A
k
、B
k
和C
k
分别表示三个邻域表示下的图邻接矩阵、数据驱动矩阵和图注意力矩阵。
[0022]步骤4：空域图卷积的输出结果作为时域图卷积的输入，在时域上进行特征提取和融合。时域图卷积主要是由一个2D卷积完成的，卷积核大小为K
t
×
1，仅在时间维度上进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图注意力卷积神经网络的人体3D骨骼行为识别方法，包括以下步骤：步骤1：将3D骨骼关节点数据输入一个批归一化层中，进行数据的归一化处理，输出归一化的骨骼数据f
in
；步骤2：将归一化处理过的数据f
in
输入图注意力模块得到注意力矩阵T，矩阵中的元素可以反映不同关节点在不同动作内的关键程度；注意力矩阵的计算方式为：其中T
ij
表示是矩阵T第i行第j列的元素值，a表示注意力映射函数，是一个行向量，a
T
表示a的转置矩阵，W是权重矩阵，[
·
||
·
]表示对两个节点的特征进行连接，υ
ti
是第t时间帧下的第i个节点的特征，v
tj
是第t时间帧下的第j个节点的特征，而且第j个节点是第i个节点的邻居节点，e
ti
是第t时间帧下的第i个节点，D(e
ti
)是节点e
ti
的邻域，第p个节点表示邻域D(e
ti
)中的节点，在t时间帧下的特征表示为v
tp
；将图注意力模块扩展到多头机制，即使用多个注意力模块计算多个图注意力矩阵取均值，得到最后的参与运算的图注意力矩阵；步骤3：将多头注意力机制下计算得到的注意力矩阵T与邻接矩阵A和数据驱动型矩阵B在基于空间构型划分的邻域下相加的结果作为特征提取矩阵，利用空间图卷积公式进行空间内高层特征提取；在空间图卷积后，还有批归一化层和一个ReLU非线性激活层；步骤4：空域图卷积的输出结果作为时域图卷积的输入，在时域上进行特征提取和融合，时域图卷积中的卷积操作是二维卷积；同样地，在时域图卷积之后，也有一个批归一化层和一个ReLU非线性激活层；步骤5：最后再经过一个全连接层和一个全局平均池化层后，使用softmax分类器对输出特征进行分类预测，得到骨骼关节点数据的预测结果。2.根据权利要求1所述的人体3D骨骼行为识别方法，其特征在于上述步骤1的具体过程为：将原始的3D骨骼关节点数据f输入一个批归一化层，批归一化层通过对3D骨骼关节点数据三个维度上的特征归一化，得到三个维度特征均值为0，方差为1的然后通过两个参数γ、β对数据做变换重构即之后输出归一化的骨骼数据f
in
，其中参数γ和β在训练过程中使用梯度下降法进行优化。3.根据权利要求2所述的人体3D骨骼行为识别方法，...

【专利技术属性】
技术研发人员：周树波，陈冉冉，蒋学芹，潘峰，杨义，
申请(专利权)人：东华大学，
类型：发明
国别省市：